Mô phỏng hồi quy bằng phương pháp bootstrap

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ÐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ÐIỂM MÔ PHỎNG HỒI QUY BẰNG PHƯƠNG PHÁP BOOTSTRAP Mã số: T2013-158 Chủ nhiệm đề tài: Ths Nguyễn Ngọc Tứ S K C0 Tp Hồ Chí Minh, tháng 02/2014 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA KHOA HỌC CƠ BẢN BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG MÔ PHỎNG HỒI QUY BẰNG PHƯƠNG PHÁP BOOTSTRAP Mã số: T2013-158 Chủ nhiệm đề tài: Ths Nguyễn Ngọc Tứ TP HCM, 02/2014 Mục lục Thông tin kết nghiên cứu Mở đầu 0.1.Kết nghiên cứu nước liên quan tới đề tài 0.2.Tính cấp thiết đề tài 0.3.Mục tiêu đề tài 0.4.Cách tiếp cận 0.5.Phương pháp nghiên cứu 0.6.Tóm tắt nội dung đề tài Chương Kiến thức 1.1.Sự hội tụ biến ngẫu nhiên 1.1.1 Hội tụ theo xác suất 1.1.2 Hội tụ hầu chắn 1.1.3 Hội tụ yếu 1.2.Sự hội tụ chuỗi biến ngẫu nhiên 10 10 1.2.1 Định lý Kolmogorov 10 1.2.2 Bất đẳng thức Kolmogorov 11 1.3.Luật số lớn 13 1.3.1 Luật yếu số lớn 13 1.3.2 Luật mạnh số lớn 13 1.4.Định lý giới hạn trung tâm 14 1.4.1 Định lý giới hạn trung tâm với thành phần phân phối 14 1.4.2 Định lý giới hạn trung tâm Lindeberg 14 1.4.3 Định lý giới hạn tích phân Moivre - Laplace 15 1.5.Metric Mallow 15 1.6.Phân phối bootstrap 17 1.6.1 Đặt vấn đề 17 1.6.2 Phân phối bootstrap 18 Chương Mơ hình hồi quy nhiều chiều 19 2.1.Giới thiệu 19 2.2.Độ lệch tiêu chuẩn 23 2.3.Ba định lý lý thuyết bình phương bé 25 2.3.1 Định lý I 26 2.3.2 Định lý II 27 2.3.3 Định lý III 29 Chương Mơ hình hồi quy bootstrap 30 3.1.Giới thiệu 30 3.2.Mơ hình hồi quy bootstrap 31 3.3.Mô mơ hình hồi quy bootstrap 39 3.3.1 Khoảng tin cậy Bootstrap BCa 39 3.3.2 Thuật toán 40 3.3.3 Ví dụ 41 TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM THÀNH PHỐ HỒ CHÍ MINH Độc lập - Tự - Hạnh phúc KHOA KHOA HỌC CƠ BẢN Tp HCM, ngày 25 tháng 01 năm 2014 THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: - Tên đề tài: Mô hồi quy phương pháp bootstrap - Mã số: T2013-158 - Chủ nhiệm: Nguyễn Ngọc Tứ - Cơ quan chủ trì: Đại học Sƣ phạm Kỹ thuật Thành phố Hồ Chí Minh - Thời gian thực hiện: từ tháng 11/2012 đến tháng 02/2014 Mục tiêu: N h ên cứu định lý giới hạn trung tâm áp dụng cho mơ hình hồi quy bootstrap với cỡ mẫu lặp lại tùy ý mô phần mềm R Tính sáng tạo: Áp dụn định lý giới hạn trung tâm mơ hình hồi quy bootstrap với cỡ mẫu ngẫu nhiên mô mơ hình Kết nghiên cứu: Mơ đƣợc mơ hình hồ quy bootstrap trình bày định lý hội tụ, đ ều kiện để sử dụn ƣớc lƣợng bootstrap với cỡ mẫu tùy ý phân phối ƣớc lƣợn bình phƣơn bé Sản phẩm: Tà l ệu tha hảo chuyên n ành Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: - Các kết đạt đƣợc ứng dụng vào việc xử lý số liệu thống kê - Kết nghiên cứu tà l ệu tha hảo tốt cho s nh v ên đạ học n ành Toán học v ên sau đạ học chuyên n ành Xác suất Trưởng Đơn vị Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) INFORMATION ON RESEARCH RESULTS General information: Project title: Simulating bootstrapping regression model Code number: T2013-158 Coordinator: ME Nguyễn Ngọc Tứ –HCMC University of Technical Education Implementing institution: HCMC University of Technical Education Duration: from 2/2013 to 02/2014 Objective(s): Study the central limit theorem to apply for bootstrapping regression model with random resample sizes and simulated by R software Creativeness and innovativeness: Applying the central limit theorem for bootstrapping regression model with random resample sizes and simulating this model Research results: Simulating the bootstrapping regression model and displaying convergence theorems, some conditions to estimate bootstrap with random sample size in least square estimation Effects, transfer alternatives of reserach results and applicability: References to students, post-graduate students majoring in Statistics and Probability and who using Bootstrap methods in the study Mở đầu 0.1 Kết nghiên cứu nước liên quan tới đề tài B Efron đề xuất phương pháp lấy mẫu lại tổng quát, gọi bootstrap, để ước lượng phân phối thống kê dựa quan sát độc lập Có thể mơ tả tổng qt phương pháp bootstrap sau Giả sử (X1 , X2 , , Xn ) mẫu ngẫu nhiên cỡ n từ tổng thể với hàm phân phối F T(X1 , X2 , , Xn ; F) biến ngẫu nhiên đặc biệt cần quan tâm, phụ thuộc vào phân phối chưa biết F Ký hiệu Fn hàm phân phối thực nghiệm (X1 , X2 , , Xn ), nghĩa phân phối đặt trọng lượng 1/n điểm X1 , X2 , , Xn Phương pháp bootstrap xấp xỉ phân phối T(X1 , X2 , , Xn ; F) F phân phối T(Y1 ,Y2 , ,Yn ; Fn ) Fn , (Y1 ,Y2 , ,Yn ) mẫu ngẫu nhiên cỡ n từ tổng thể với hàm phân phối Fn Như vậy, phương pháp bootstrap sử dụng phép lấy mẫu có hồn lại Khi tất bậc tự giai đoạn xử lý số liệu bảo toàn lợi bootstrap so với phương án khác việc điều khiển phép lấy mẫu Lúc đầu bootstrap sử dụng để khảo sát độ chệch, sau dó sử dụng để ước lượng phương sai mẫu Từ phương sai tính giới hạn tin cậy kiểm tra giả thuyết Vì vậy, bootstrap thích hợp để giải tốn thống kê, kiểm tra giả thiết luật phân phối đại lượng ngẫu nhiên, hồi quy, phân tích phương sai phân loại số liệu nhiều chiều Cụ thể, mơ hình hồi quy tương quan bootstrap Bickel Freedman phát triển số lý thuyết tiệm cận cho trình thực nghiệm bootstrap 0.2 Tính cấp thiết đề tài Phương pháp bootstrap sử dụng rộng rãi thống kê để giải toán như: kiểm định giả thuyết thống kê phân phối đại lượng ngẫu nhiên, ước lượng tham số, hồi quy tương quan, phân tích phương sai va phân loại số liệu nhiều chiều Nghiên cứu áp dụng phương pháp bootstrap vấn đề thời lý thuyết xác suất thống kê toán học Việc nghiên cứu định lý giới hạn trung tâm ước lượng bootstrap với cỡ mẫu ngẫu nhiên nhiều nhà toán học quan tâm vấn đề mơ tốn cần thiết để xem xét áp dụng thực tế, chẳng hạn mơ hình hồi quy.Vì vậy, đề tài thời cấp thiết 0.3 Mục tiêu đề tài Nghiên cứu định lý giới hạn trung tâm với cỡ mẫu tùy ý áp dụng mô hình hồi quy bootstrap mơ mơ hình thực tế 0.4 Cách tiếp cận Đọc tài liệu liên quan đến đề tài, phân tích để tìm công cụ giải đề tài, dùng phần mềm R để mơ mơ hình 0.5 Phương pháp nghiên cứu Sử dụng phương pháp kết lý thuyết cổ điển tổng biến ngẫu nhiên độc lập, kết phương pháp lý thuyết phương pháp bootstrap, áp dụng kết cho mơ hình hồi quy 0.6 Tóm tắt nội dung đề tài Nội dung báo cáo gồm phần mở đầu, chương 1, chương 2, chương phần kết luận: • Phần mở đầu trình bày xuất xứ ý nghĩa vấn đề, đối tượng phương pháp nghiên cứu đề tài • Chương trình bày tóm tắt số kết biết xác suất, định lý kết liên quan đến đề tài • Chương tập trung trình bày mơ hình hồi quy nhiều chiều • Chương trình bày mơ hình hồi quy bootstrap mơ Phần lại ta σ ∗m hội tụ σ Điều kết Phần [9] Thật với điều kiện Y1 , ,Yn , theo Bổ đề 8.6 [9] ta có ( ) m ∗2 m d1 ε i , ∑i=1 εi d1 (ε ∗i , εi2 ) ∑ i=1 m m Ta lại có: εi∗ có luật phân phối xác suất Fˆn ; εi có luật phân phối xác suất F d2 (Fˆn , F) → hầu chắn Bổ đề (3.2.6) Vì theo Bổ đề 8.6 [9] ta có d1 (ε ∗i , εi2 ) → hầu chắn với ϕ (ε ) = ε Tóm lại hội tụ hầu chắn tới m m ∑i=1 ε i m ∗2 m ∑i=1 ε i tức hội tụ hầu chắn tới σ c) Phát biểu c) suy trực tiếp từ a) b) 3.3 Mô mơ hình hồi quy bootstrap 3.3.1 Khoảng tin cậy Bootstrap BCa Ký hiệu T ∗(α ) giá trị thứ α b giá trị bootstrap T¯ ∗(α ) ; i = 1, , b thỏa mãn ∗ ∗ ∗ T¯(1) ≤ T¯(2) ≤ ≤ T¯(b) Khoảng ước lượng bootstrap BCa với mức ý nghĩa (1 − 2α ) có dạng: ( với T¯ ∗(α1 ) , T¯ ∗(α2 ) ( ) + z(α ) ) zˆ ( ) , − aˆ zˆ + z(α ) ( ) α ) (1− zˆ + z ( ) α2 = Φ zˆ + − aˆ zˆ + z(1−α ) α1 = Φ zˆ + Trong • Φ(.) hàm phân phối tích lũy phân phối chuẩn hóa N(0, 1) 39 • z(α ) giá trị phân vị mức α phân phối chuẩn hóa z(α ) = Φ−1 (α ) • zˆ độ đo trung vị độ chệch T¯ ∗ , zˆ xác định ( ∗ ) ¯ ¯ −1 {T (b) < T } zˆ = Φ B • aˆ giá trị thể tốc độ thay đổi sai số chuẩn T¯ , se(T¯ ) giá trị thực T, aˆ xác định ∑ni=1 (T¯− − T¯ (−i)) aˆ = { }3 /2 n ¯ ¯ ∑i=1 (T− − T (−i)) với T¯ (−i) giá trị T¯ bỏ qua quan sát thứ i, xi , khỏi mẫu gốc T¯− trung bình cộng T¯ (−i) 3.3.2 Thuật toán Xét mẫu ban đầu zi ′ = [Yi , Xi1 , , Xik ] ′ ′ ′ Từ mẫu này, z′1 , z′2 , , z′n ta tái mẫu đễ mẫu bootstrap z∗b1 , z∗b2 , , z∗bn [ ]′ có hệ số hồi quy tương ứng b∗b = A∗b , B∗b1 , , B∗bk Cụ thể Ước lượng hệ số hồi quy A, B1 , , Bk từ mẫu ban đầu tính tốn phần dư cho quan sát Yi = A + B1 xi1 + + Bk xik Ei = Yi − Yi ] [ ∗ ∗ ∗ ′ từ tính , Eb2 , , Ebn Lấy phần dư mẫu bootstrap e∗b = Eb1 ] [ ∗ ∗ ∗ ′ ,Y ∗ = Y + E ∗ ,Yb2 , ,Ybn giá trị Y bootstrap với y∗b = Yb1 i bi bi 40 Dựa giá trị Y vừa tính giá trị X, ta hệ số hồi quy bootstrap b∗b = (X ′ X)−1 X ′ y∗b , b = 1, , r [ ]′ Mẫu tái tạo b∗b = A∗b , B∗b1 , , B∗bk cho ta độ lệch chuẩn bootstrap khoảng tin cậy bootstrap cho hệ số hồi quy 3.3.3 Ví dụ Để mơ tả hệ số hồi quy bootstrap, ta sử dụng số liệu có sẵn R (phần mềm thống kê) mức độ tiêu thụ nhiên liệu (mpg) dựa trọng lượng xe (wt) khí thải (disp) với phương trình hồi quy mpg = A + B1 wt + B2 disp Ở mẫu bootstrap ta lập lại r = 5000 lần để ước lượng độ lệch chuẩn bootstrap khoảng tin cậy bootstrap cho hệ số hồi quy biến trọng lượng khí thải với độ tin cậy 95% Bootstrap với độ tin cậy 95% library(boot) (Hàm lấy liệu) bs