Mô hình hồi quy bootstrap với cỡ mẫu ngẫu nhiên

Trong bài viết này, tác giả trình bày thuật toán xác định hệ số hồi quy của mô hình hồi quy bootstrap với cỡ mẫu lấy lại là biến ngẫu nhiên

52 Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 44B(10/2017) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh MƠ HÌNH HỒI QUY BOOTSTRAP VỚI CỠ MẪU NGẪU NHIÊN ON BOOTSTRAPPING REGRESSION MODEL WITH RANDOM RESAMPLE SIZE Nguyễn Hồng Nhung Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, Việt Nam Ngày tồ soạn nhận 9/11/2016, ngày phản biện đánh giá 7/12/2016, ngày chấp nhận đăng 6/3/2017 TÓM TẮT Nhiều phương pháp thống kê cổ điển tìm khoảng tin cậy cho hệ số hồi quy cần giả thiết phân bố tiên nghiệm sai số Với số giả thuyết định, không cần giả thiết phân phối sai số, thủ tục bootstrap có cỡ mẫu lấy lại cố định ngẫu nhiên thực xấp xỉ bootstrap phân phối ước lượng bình phương tối thiểu hệ số hồi quy Trong báo này, tác giả trình bày thuật tốn xác định hệ số hồi quy mơ hình hồi quy bootstrap với cỡ mẫu lấy lại biến ngẫu nhiên 𝑁𝑛 𝑁𝑛 nhận giá trị số nguyên dương [𝑚, 𝑛] với khả giá trị, 𝑚 số nguyên dương nhỏ lớn 𝑛/4 Sử dụng phần mềm Matlab xác định hệ số hồi quy bootstrap thực nghiệm đưa nhận xét Từ khóa: Phương pháp bootstrap; hồi quy; lấy lại mẫu; cỡ mẫu ngẫu nhiên; phân phối ABSTRACT To find confidence interval for regression coefficients, classical methods require the distribution of errors Under mild conditions, without knowing the distribution of errors, the bootstrap approximation with fixed or random resample sizeto estimate the distribution of the least squares is valid In this paper, the author presents algorithms to determine regression coefficients of the bootstrap regression model with random resample size 𝑁𝑛 𝑁𝑛 is a positive integer-valued in [𝑚, 𝑛] with the ability to be the same at all values, where m is the smallest positive integer greater than or equal to 𝑛/4 Matlab software is used to seek the empirical bootstrap regression coefficients and create analysis comments Key words: bootstrap; regression; resampling; random resample size; uniform distribution GIỚI THIỆU Năm 1979 Efron [1] đưa trình tổng quát lấy lại mẫu từ mẫu gốc ban đầu gọi bootstrap Coi mẫu gốc 𝑆𝑛 = (𝑋1 , 𝑋2 , … , 𝑋𝑛 )đóng vai trị tổng thể mà từ rút Từ mẫu ban đầu lấy lại mẫu ngẫu nhiên phương pháp lấy mẫu có hồn lại Mẫu lấy lại gọi mẫu bootstrap ∗ ∗ ∗ ) ngẫu nhiên 𝑆𝑛∗ = (𝑋𝑛1 , 𝑋𝑛2 , … , 𝑋𝑛𝑛 có cỡ mẫu 𝑛 Giả sử 𝑋1 , 𝑋2 , … , 𝑋𝑛 độc lập phân phối𝐹và𝜃(𝐹) tham số cần quan tâm Gọi 𝐹𝑛 hàm phân phối thực nghiệm mẫu 𝑆𝑛 , 𝜃(𝐹𝑛 ) ước lượng 𝜃(𝐹).Ứng với mẫu bootstrap, thống kê tham số cần quan tâm 𝜃(𝐹𝑛∗ ) gọi thống kê bootstrap Phân phối thực nghiệm𝐹𝑛∗ thống kê bootstrap gọi phân phối bootstrap Phân phối bootstrap ước lượng phân phối thống kê ta quan tâm Phương pháp bootstrap Efron xấp xỉ phân phối mẫu √𝑛(𝜃(𝐹𝑛 ) − 𝜃(𝐹)) phân phối mẫu lặp lại √𝑛(𝜃(𝐹𝑛∗ ) − 𝜃(𝐹𝑛 )) dựa mẫu bootstrap 𝑆𝑛∗ mà phân phối ban đầu 𝐹 thay phân phối thực nghiệm 𝐹𝑛 dựa mẫu gốc 𝑆𝑛 và𝐹𝑛 thay phân phối thực nghiệm bootstrap 𝐹𝑛∗ dựa mẫu bootstrap 𝑆𝑛∗ Enno Mammen [2] giới thiệu trình lấy mẫu bootstrap với cỡ mẫu biến ngẫu nhiên có phân phối Poisson Tạp Chí Khoa Học Giáo Dục Kỹ Thuật Số 44B(10/2017) Trường Đại Học Sư Phạm Kỹ Thuật TP Hồ Chí Minh Trong [3] Rao, Pathak Kolt trình bày trình lấy mẫu bootstrap q trình lấy ngẫu nhiên có hồn lại phần tử từ 𝑆𝑛 có 𝑚 = [𝑛(1 − 𝑒 −1 )] + phần tử phân biệt mẫu gốc Như vậy, ta thu mẫu bootstrap ∗ ∗ ∗ ∗ 𝑆𝑁𝑛 = (𝑋𝑛1 , 𝑋𝑛2 , … , 𝑋𝑛𝑁𝑛 ) có cỡ mẫu 𝑁𝑛 ngẫu nhiên, miễn ∗ ∗ ∗ −1 ) 𝑋𝑛1 , 𝑋𝑛2 , … , 𝑋𝑛𝑁 có 𝑚 ≈ 𝑛(1 − 𝑒 phần 𝑛 tử phân biệt mẫu gốc Cỡ mẫu 𝑁𝑛 phân tích thành tổng biến ngẫu nhiên độc lập sau: 𝑁𝑛 = 𝑁𝑛1 + 𝑁𝑛2 + ⋯ + 𝑁𝑛𝑚 (1) 𝑚 = [𝑛(1 − 𝑒 −1 )] + 1; 𝑁1 = với 𝑘, ≤ 𝑘 ≤ 𝑚, 𝑃∗ (𝑁𝑛𝑘 = 𝑖) = (1 − 𝑘−1 𝑛 )( 𝑘−1 𝑖−1 𝑛 ) , (2) với 𝑃∗ ký hiệu xác suất có điều kiện 𝑃(… |𝑋1 , … , 𝑋𝑛 ) Kỳ vọng cỡ mẫu lấy lại 𝑁𝑛 thủ 1 tục bootstrap 𝐸(𝑁𝑛 ) = 𝑛 [ + + ⋯+ 𝑛 ].Với𝑚 = 𝑛(1 − 𝑒 𝑛−𝑚+1 −1 ) 𝑛−1 suy 𝐸(𝑁𝑛 ) = 𝑛 + 𝑂(1) (3) Rao, Pathak Kolt thiết lập tính vững lược đồ lấy mẫu [3] Trong [4] N.V Toản nghiên cứu trình bootstrap với cỡ mẫu lấy lại 𝑁𝑛 không độc lập với mẫu gốc thỏa mãn điều kiện: có dãy số nguyên dương (𝑘𝑛 )1≤𝑛hatbeta=inv(X'*X)*X'*Y # Ước lượng hợp lý cực đại 𝛽 hatepsilon hatbeta = [3.7457 -2 2.9579]T >>hatepsilon=Y-X*hatbeta; # Vectơ 𝜀̂(𝑛) -4 -6 50 4.0935 60 70 80 90 100 110 120 130 140 Y Hình Đồ thị phân tán sai số𝜀̂𝑖 giá trị dự đoán 𝑦𝑖 Trong hình ta thấy khơng có xu chùm điểm thể mối quan hệ sai số 𝜀̂𝑖 giá trị dự đoán 𝑦𝑖 nên ta chấp nhận giả thuyết độc lập sai số 𝜀 biến dự đoán 𝑌 Mặt khác ta thấy khoảng rộng độ lệch gần như phần đồ thị nên ta chấp nhận giả thuyết phương sai sai số 𝜀 không đổi Như vậy, số liệu thỏa mãn A(1-3) >>data=hatepsilon(sum(hatepsilon)/n)*ones(n,1);# Ma trận phần dư trung tâm đóng vai trị mẫu gốc để lấy lại mẫu >>betaB=zeros(p,10000); >> r=randi(n,1,10000); # Dãy 10000 số nguyên dương ngẫu nhiên có giá trị đến n >>forI =1:10000rs=r(1,i); Whilers