Mô phỏng hồi quy bằng phương pháp bootstrap

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ÐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ÐIỂM MÔ PHỎNG HỒI QUY BẰNG PHƯƠNG PHÁP BOOTSTRAP Mã số: T2013-158 Chủ nhiệm đề tài: Ths Nguyễn Ngọc Tứ SKC005421 Tp Hồ Chí Minh, tháng 02/2014 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA KHOA HỌC CƠ BẢN BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG MÔ PHỎNG HỒI QUY BẰNG PHƯƠNG PHÁP BOOTSTRAP Mã số: T2013-158 Chủ nhiệm đề tài: Ths Nguyễn Ngọc Tứ TP HCM, 02/2014 ế đầ đề ế đề đề ắ đề ẫ ế ẫ Đị đẳ ế Đị Đị Đị Đị Đặấđề Độ đị ế Đị Đị Đị TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT CỘNG HOÀ Xà HỘI CHỦ NGHĨA VIỆT NAM THÀNH PHỐ HỒ CHÍ MINH Độc lập - Tự - Hạnh phúc KHOA KHOA HỌC CƠ BẢN Tp HCM, ngày 25 tháng 01 năm 2014 THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Mô hồi quy phương pháp bootstrap - Mã số: T2013-158 - Chủ nhiệm: Nguyễn Ngọc Tứ - Cơ quan chủ trì: Đại học Sƣ phạm Kỹ thuật Thành phố Hồ Chí Minh - Thời gian thực hiện: từ tháng 11/2012 đến tháng 02/2014 Mục tiêu: N h ên cứu định lý giới hạn trung tâm áp dụng cho mơ hình hồi quy bootstrap với cỡ mẫu lặp lại tùy ý mô phần mềm R Tính sáng tạo: Áp dụn định lý giới hạn trung tâm mô hình hồi quy bootstrap với cỡ mẫu ngẫu nhiên mơ mơ hình Kết nghiên cứu: Mơ đƣợc mơ hình hồ quy bootstrap trình bày định lý hội tụ, đ ều kiện để sử dụn ƣớc lƣợng bootstrap với cỡ mẫu tùy ý phân phối ƣớc lƣợn bình phƣơn bé Sản phẩm: Tà l ệu tha hảo chuyên n ành Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: - Các kết đạt đƣợc ứng dụng vào việc xử lý số liệu thống kê - Kết nghiên cứu tà l ệu tha hảo tốt cho s nh v ên đạ học n ành Toán học v ên sau đạ học chuyên n ành Xác suất Trưởng Đơn vị Chủ nhiệm đề tài (ký, họ tên, đóng dấu) (ký, họ tên) INFORMATION ON RESEARCH RESULTS General information: Project title: Simulating bootstrapping regression model Code number: T2013-158 Coordinator: ME Nguyễn Ngọc Tứ –HCMC University of Technical Education Implementing institution: HCMC University of Technical Education Duration: from 2/2013 to 02/2014 Objective(s): Study the central limit theorem to apply for bootstrapping regression model with random resample sizes and simulated by R software Creativeness and innovativeness: Applying the central limit theorem for bootstrapping regression model with random resample sizes and simulating this model Research results: Simulating the bootstrapping regression model and displaying convergence theorems, some conditions to estimate bootstrap with random sample size in least square estimation Effects, transfer alternatives of reserach results and applicability: References to students, post-graduate students majoring in Statistics and Probability and who using Bootstrap methods in the study đầ ế đề đ đề để ướ độ ậ ẫ X1, X2, , Xn ẫ X1, X2, , Xn X1, X2, , Xn ấ F ẫ ậ đ đ đ đượ ớđ đầ đượ để độ đượ đểướ ậ để ế ề ế đạ ẫ đố đầ đượ ếề đượ địế ề ẫ ướ ấđề ế đị đốớướ ẫ đượ ấđề để ậ đề đề đị Đọ đề để đếđề để ế ế ẫđộ ế ế đề ắ đầ ộ ế • đầ ấđềđố đề ếđ • đị ế • • đếđề Ậ đạđượđ ế đầđủ ấđềđặ đầ đă ế đề Đề đầ ễ ũ ễ ă ễă ễă ế MÔ PHỎNG HỒI QUY BẰNG PHƯƠNG PHÁP BOOTSTRAP SIMULATING BOOTSTRAPPING REGRESSION MODEL Nguyễn Ngọc Tứ Khoa Khoa học TĨM TẮT Bài viết nghiên cứu mơ hình hồi quy bootstrap với cỡ mẫu tùy ý trình bày định lý hội tụ, điều kiện để sử dụng ước lượng bootstrap với cỡ mẫu tùy ý phân phối ước lượng bình phương bé ABSTRACT The paper studies bootstrap regression models with arbitrary resample sizes and presentes the convergence theorem, the conditions can be used to estimate bootstrap with arbitrary resample size for the distribution of the least squared estimation Giới thiệu Xét mơ hình hồi quy Y (n) = X(n).β + ε(n) với điều kiện sau đây: (i) Ma trận X(n) không ngẫu nhiên Các thành phần ε , ε , , εn ε(n) độc lập với nhau, có phân phối F với kì vọng phương sai hữu hạn σ ; F σ chưa biết (ii) T (iii) n (X (n)X(n)) → V xác định dương X(n) n hàng dãy vô hạn hàng, tương tự nhiễu , ε , , εn n biến ngẫu nhiên độc lập dãy vơ hạn biến ngẫu nhiên độc lập có phân phối xác suất F Ước lượng bình phương bé β ε Vectơ Y T − ε(n), β có trung bình β ma trận hiệp phương sai σ (X (n)X(n)) sử tất thành phần X(n) nhỏ so với Giả √ √ b b b n(β(n) − β) có phân phối tiệm cận chuẩn với trung bình ma trận hiệp phương sai σ V / − T Trong trường hợp đặc biệt, đại lượng (X (n)X(n)) (β(n) − β)/σ có tiệm cận chuẩn với trung bình ma trận hiệp phương sai Ip×p - ma trận đơn vị n vectơ cột quan sát εˆ(n) phần dư cho ˆ εˆ(n) = Y (n) − X(n)β ˆ Gọi Fn phân phối thực nghiệm εˆ(n) có giá trị trung tâm trung bình, Fn đặt khối lượng 1/n εˆi(n) − µn µn = (1/n) c kiện với có phân p ∑ ∗ thành phần thứ i ε i ˆ ∗ Y (n) = X(n)β + ε (n) ˆ Ước lượng bình phương béˆ β ∗ T β=(XX) Theo nguyên lý bootstrap, phân phối √ − T XY.√ ∗ ˆ∗ ˆ n(β − β) xấp xỉ phân phối ˆ n(β − β) Xấp xỉ tốt với n lớn σ p.trace(XT X)− nhỏ Mô hình hồi quy bootstrap Giả sử ta có mơ hình hồi quy (1) với điều kiện (i) - (iii) Gọi Ψ n(F ) hàm phân phối √ b n(β(n) − β) với F luật phân phối xác suất p ε Vì Ψn(F ) xác suất R Tương tự, ta giả sử G luật phân phối xác suất ε có trung bình phương sai hữu hạn Định nghĩa 2.1 Giả sử d p i metric Mallows xác suất p p R với chuẩn Euclide Vì thế, µ ν xác suất R [ p t] /t d i(µ, ν) infimum E ∥U − V ∥ tất cặp vectơ ngẫu nhiên U V, với U có luật phân phối µ V có luật phân phối ν , viết tắt di Chú ý 2.1 Trong đề tài này, p số chiều khơng gian tuyến tính { T p }− Định lý 2.1 d {Ψn(F ), Ψn(G)} n trace X(n) X(n) d (F, G) ˜ Gọi Fn hàm phân phối thực nghiệm ε , ε , , εn; Fn hàm phân phối thực nghiệm ε˜ (n), ε˜ (n), , ε˜n(n) lấy từ mơ hình ˆ hồi quy ban đầu, Fn ∑ (1/n) i ˆ n εˆi(n) Bởi εˆ(n) = Y (n) − X(n)β (n) nên εˆ(n) − ε(n) = −P (n)ε(n) { }− T với P (n) = X(n) X(n) X(n) cột X(n) T X(n) ma trận trực chuẩn với Bổ đề 2.1 E Bổ đề 2.2 E Mơ mơ hình hồi quy tuyến tính ∗ ∗ với ε , , εm độc lập có phân phối Fn F n phân phối thực nghiệm gốc ε(n), mà trung tâm trung vị µ c ˆi( ) − εn ước lượng ∗ × βp (m) = { T X(m) X(m) }− T X(m) p×p ∗ m×pYm × (m) Phần dư Theo lý thuyết phương sai σ = E{εi } ước lượng từ n vectơ liệu gốc Tương tự, phương sai ước lượng từ m vectơ σˆm ∗ = Cho ε(n) vectơ có n thành phần ε , , εn, tương tự εˆ(n) vectơ có n thành phần εˆ (n), , εˆn(n) Ta có số bổ để sau Bổ đề 2.3 n Bổ đề 2.4 Bổ đề 2.5 d (Fn, Fn) → Bổ đề 2.6 d (Fn, F ) → Bổ đề 2.7 Cho ui vi số thực Đặt đặt tượng tự cho v Khi (s − s ) u v ∑ n n (u − v ) i i i Định lý 2.2 Giả sử ta xét mơ hình hồi quy với (1) với điều kiện (i)-(iii) Trong hầu hết dãy mẫu, cho trước Y , Y , , Y n, m n tiến tới ∞ √ ˆ∗ ˆ a) Phân phối có điều kiện m{β (m) − β(n)} hội tụ yếu tới phân phối − chuẩn có kì vọng ma trận hiệp phương sai σ V ∗ b) phân phối có điều kiện σˆm hội tụ tới σ T / ˆ∗ ˆ c) phân phối có điều kiện {X(m) X(m)} {β (m) − β(n)}/σˆm hội tụ p tới phân phối chuẩn R ∗ Mơ mơ hình hồi quy bootstrap 3.1 Khoảng tin cậy Bootstrap BCa ∗=α[ Ký hiệu T thỏa mãn Khoảng ước lượng bootstrap BCa với mức ý nghĩa (1 − 2α) có dạng: ( ¯ T ∗=α [ ∗=α [ , T¯ với ( α = Φ ˆz + ( α = Φ ˆz + Trong • Φ(.) hàm phân phối tích lũy phân phối chuẩn hóa N(0, 1) • • z =α[ =α[ giá trị phân vị mức α phân phối chuẩn hóa z ˆz độ đo trung vị độ chệch T ˆz = Φ ¯∗ − = Φ (α) , ˆz − ¯ ˆa giá trị thể tốc độ thay đổi sai số chuẩn T , se(T ) giá trị thực T, ˆa xác định ¯ • ˆa = với T (−i) giá trị T bỏ qua quan sát thứ i, xi, khỏi mẫu gốc T− trung bình cộng T (−i) 3.2 Thuật toán Xét mẫu ban đầu ′ zi = [Yi, Xi , , Xik] ′ ′ ∗ ′ Từ mẫu này, z , z , , zn ta tái mẫu đễ mẫu bootstrap zb ′ , ∗ ∗ ∗ ∗ ∗ zb ′ , , zbn ′ có hệ số hồi quy tương ứng b b = [A b, Bb , , ∗ ′ Bbk ] Cụ thể Ước lượng hệ số hồi quy A, B , , Bk từ mẫu ban đầu tính tốn phần dư cho quan sát Y b i = Ei = Yi − Ybi ∗ ∗ ∗ ∗ ′ Lấy phần dư mẫu bootstrap e b = [Eb , Eb , , Ebn ] từ ∗ ∗ ∗ ∗ ′ ∗ tính giá trị Y bootstrap với yb = [Yb , Yb , , Ybn ] , Ybi = b ∗ Y + E i bi Dựa giá trị Y vừa tính giá trị X, ta hệ số hồi quy bootstrap b b = (X X) X yb , b = 1, , r ∗ ∗ ∗ ∗ ′ Mẫu tái tạo b b = [A b, Bb , , Bbk ] cho ta độ lệch chuẩn bootstrap khoảng tin cậy bootstrap cho hệ số hồi quy ∗ 3.3 ′ − ′ ∗ Ví dụ Để mơ tả hệ số hồi quy bootstrap, ta sử dụng số liệu có sẵn R (phần mềm thống kê) mức độ tiêu thụ nhiên liệu (mpg) dựa trọng lượng xe (wt) khí thải (disp) với phương trình hồi quy mpg = A + B wt + B disp mẫu bootstrap ta lập lại r = 5000 lần để ước lượng độ lệch chuẩn bootstrap khoảng tin cậy bootstrap cho hệ số hồi quy biến trọng lượng khí thải với độ tin cậy 95% Bootstrap với độ tin cậy 95% library(boot) Ở (Hàm lấy liệu) bs