MỘT số TIÊU CHUẨN lựa CHỌN mô HÌNH

ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG Hà Nội - 2013 MỞ ĐẦU Lựa chọn mô hình (Model selection) toán thống kê nhiều ngành khoa học khác học máy (machine learning), kinh tế lượng (econometrics), Theo R A Fisher có toán thống kê suy luận dự báo gồm - Xác định mô hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mô hình biết Sau xuất công trình Akaike (1973) toán lựa chọn mô hình thu hút quan tâm cộng đồng làm thống kê Với liệu đưa ra, đặt vào nhiều mô hình với mô hình đưa ra, mô hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thông tin để lựa chọn mô hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mô hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn trình bày hai tiêu chuẩn thông tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Luận văn chia làm ba chương Chương Kiến thức chuẩn bị Trong chương này, trình bày kiến thức lượng thông tin Fisher, ước lượng hợp lí cực đại, dạng phân tích hồi quy hồi quy tuyến tính, hồi quy Poisson hồi quy logistic Chương Một số tiêu chuẩn lựa chọn mô hình Chương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ ước lượng hợp lí cực đại khoảng cách Kullback-Leibler, định nghĩa AIC mối liên hệ AIC khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnh cho hồi quy tuyến tính chuỗi thời gian tự hồi quy, trình bày nguồn gốc định nghĩa BIC Chương Áp dụng Trong chương giới thiệu phần mềm R, đưa liệu cụ thể bốn phép đo hộp sọ người Ai cập năm thời kỳ khác lấy website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, i áp dụng với năm mô hình ứng cử viên dùng phần mềm R chạy để tìm giá trị AIC BIC cho số năm mô hình ứng cử viên để tìm mô hình tốt theo AIC BIC liệu này, code R tham khảo website Do thời gian trình độ hạn chế nên luận văn không tránh khỏi thiếu sót, tác giả hy vọng nhận nhiều ý kiến đóng góp từ thầy cô giáo bạn đọc để luận văn hoàn chỉnh ii LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, hoàn thành luận văn tốt nghiệp với đề tài: “Một số tiêu chuẩn lựa chọn mô hình” Trong suốt trình học tập, triển khai nghiên cứu đề tài, nhận nhiều giúp đỡ thầy cô môn Xác suất thống kê, thầy cô khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, đặc biệt TS Trần Mạnh Cường Tôi xin bày tỏ lòng biết ơn chân thành sâu sắc tới TS Trần Mạnh Cường – người tận tình bảo, giúp đỡ trình nghiên cứu đề tài Tôi xin gửi lời cảm ơn tới Ban giám hiệu, Phòng sau đại học, thầy cô khoa Toán - Cơ - Tin học nói chung thầy cô môn xác suất thống kê Trường Đại học Khoa học Tự nhiên nói riêng tạo điều kiện thuận lợi để hoàn thành luận văn Hà nội, tháng 02 năm 2013 iii Danh mục kí hiệu AIC AICc a.s BIC BIC∗ BICexact h(.) H(.) KL L, Ln , n Np (ξ, Op (n−1 ) Var d → − p → − TIC Tr ) Tiêu chuẩn thông tin Akaike AIC hiệu chỉnh hầu chắn tiêu chuẩn thông tin Bayesian xấp xỉ BIC BIC xác tỷ lệ nguy hiểm tỷ lệ nguy hiểm tích lũy khoảng cách kullback - Leibler hàm hợp lý loga hàm hợp lý phân phối chuẩn p biến ngẫu nhiên với vectơ trung bình ξ ma trận phương sai Xn = Op (n−1 ) nghĩa Xn /n−1 hội tụ tới theo xác suất phương sai hội tụ theo phân phối hội tụ theo xác suất tiêu chuẩn thông tin Takeuchi vết ma trận kết thúc chứng minh ví dụ iv Mục lục Lời cảm ơn iii Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher 1.2 Ước lượng hợp lý cực đại 1.3 Hồi quy tuyến tính 1.3.1 Giới thiệu mô hình hồi quy tuyến tính cổ điển 1.3.2 Phương pháp ước lượng bình phương cực tiểu 1.3.3 Tính chất ước lượng phương pháp bình phương cực tiểu 1.4 Hồi quy Poisson 1.5 Hồi quy logistic 1 4 7 Một số tiêu chuẩn lựa chọn mô hình 2.1 Tiêu chuẩn thông tin Akaike 2.1.1 Khoảng cách Kullback- Leibler 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback- Leibler 2.1.3 Định nghĩa AIC 2.1.4 AIC khoảng cách Kullback- Leibler 2.1.5 Tiêu chuẩn Takeuchi 2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính 2.2 Tiêu chuẩn thông tin Bayesian(BIC) 2.2.1 Nguồn gốc BIC 2.2.2 Định nghĩa BIC 2.2.3 Ai người viết ’The Quiet Don’ ? 10 10 10 11 17 19 24 25 28 28 30 35 Áp dụng 38 3.1 Giới thiệu phần mềm R 38 3.2 Áp dụng với số liệu 38 v MỤC LỤC Kết luận 46 Phụ lục 47 Tài liệu tham khảo 51 vi Chương Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher Định nghĩa 1.1.1 Cho X biến ngẫu nhiên vectơ ngẫu nhiên có phân bố phụ thuộc vào tham số chưa biết θ ∈ Θ, với mật độ f (x, θ), θ ∈ Θ Giả sử df (x,θ) f (x, θ) khả vi theo θ dλ < ∞ Khi lượng thông tin Fisher tham dθ X số θ chứa X IX (θ) = Eθ [ dlnf (X, θ) dθ ]2 Dễ dàng Eθ [ dlnfdθ(X,θ) ] = Do dlnf (X, θ) ] dθ Với điều kiện không chặt đặt lên f (x, θ) người ta chứng minh IX (θ) = V ar[ d2 lnf (X, θ) IX (θ) = −E[ ] dθ2 Chú ý: Nếu X1 , X2 hai biến ngẫu nhiên độc lập phụ thuộc vào tham số θ mật độ đồng thời X1 , X2 là: f (x1 , x2 , θ) = fX1 (θ).fX2 (θ) Nên: I(X1 ,X2 ) (θ) = V ar[ dlnf (X1 , X2 , θ) dθ = IX1 (θ) + IX2 (θ) ] = V ar[ dlnfX1 (X1 , θ) dθ ] + V ar[ dlnfX2 (X2 , θ) dθ ] Do X1 , X2 , , Xn mẫu ngẫu nhiên X, lượng thông tin Fisher tham số θ chứa mẫu là: Chương Kiến thức chuẩn bị I(θ) = I(X1 ,X2 , ,Xn ) (θ) = nIX1 (θ) Ví dụ 1.1.1 Tính lượng thông tin mẫu đơn giản (X1 , X2 , , Xn ) lấy từ họ phân bố chuẩn với tham số (µ, σ ) tham số σ Ta có hàm mật độ đồng thời X1 , X2 , , Xn 1 p(X, µ, σ ) = n exp[− 2σ (2πσ ) n (Xi − µ)2 ] i=1 n n lnp(X, µ, σ ) = − ln2π − lnσ − 2 2σ n ∂ lnp(X, µ, σ ) n =− + ∂σ 2σ 2σ (Xi − µ)2 i=1 n (Xi − µ)2 i=1 ∂ lnp(X, µ, σ ) ∂ lnp(X, µ, σ ) ) = V ar( ) ⇒ IX (σ ) = E( ∂σ ∂σ n n = V ar[(X1 − µ)2 ] = 4σ 2σ Trường hợp nhiều chiều: Khi phân bố X phụ thuộc N tham số θ = (θ1 , θ2 , , θN )T ma trận thông tin Fisher có dạng [I(θ)]i,j = Eθ [ ∂ lnf (X, θ) ∂ lnf (X, θ) ] ∂θi ∂θj Đây ma trận đối xứng, xác định không âm Với số điều kiện quy người ta [I(θ)]i,j = −Eθ [ 1.2 ∂ lnf (X, θ) ] ∂θi ∂θj Ước lượng hợp lý cực đại Cho mô hình thống kê (X, B, Pθ , θ ∈ Θ), Θ khoảng mở không gian Euclide k chiều Pθ µ với µ độ đo σ− hữu hạn B Đặt p(x, θ) = dPθ dµ Chương Một số tiêu chuẩn lựa chọn mô hình Có thể điều xấp xỉ hoàn toàn xác tình Để tiến hành xa hơn, thảo luận khác biệt thực tiên nghiệm bao gồm Tất khác biệt nguyên tắc liên hệ với đánh giá tiên nghiệm vectơ (p, ξ, a, b) ba phân phối xác suất Tính toán dẫn đến BIC∗1 = 2( BIC∗2 BIC∗3 1,3,max + 2,max ) − 4log(n1 + n3 ) − 4logn2 − log|J1,3 | − log|J2 | + 8log(2π), = 2( 2,3,max + 1,max ) − 4log(n2 + n3 ) − 4logn1 − log|J2,3 | − log|J1 | + 8log(2π), = 2( 1,max + 2,max + 3,max ) − 4logn1 − 4logn2 − 4logn3 − log|J1 | − log|J2 | − log|J3 | + 12log(2π) Các tính toán để tìm ước lượng hợp lý cực đại cho θ chung Sh QD M1 , θ chung Kr QD M2 cuối dẫn đến M1 M2 M3 AIC -79490.8 -79504.4 -79494.5 BIC∗ -79515.5 -79530.6 -79528.6 Chúng ta kết luận liệu độ dài câu nói mạnh mẽ nghiêng người đoạt giải Nobel bác bỏ cáo buộc ’D’ suy đoán Tính toán mô hình xác suất hậu nghiệm qua (2.24) đưa đến số gần với cho M2 M3 gần với cho M1 Sử dụng (2.19) với xác suất tiên nghiệm ta 0.998 cho Sholokhov lại 0.002 chia sẻ Kriukov mô hình trung hòa mà ba tuyển tập khác Thậm chí Solzhenitsyn bắt đầu với P (M1 ) = 0.05 P (M2 ) = 0.95 bị buộc phải sửa đổi xác suất P (M1 ) = 0.99 P (M2 ) = 0.01 Lập luận sử dụng để cung cấp công thức chung cho phân loại, trường hợp mà lớp mật độ mô hình hóa 37 Chương Áp dụng 3.1 Giới thiệu phần mềm R R phần mềm phân tích liệu xây dựng Ross Ihaka Robert Gentleman thuộc trường Đại học AucKland, Newzealand tiếp tục phát triển nhóm nhà khoa học R phần mềm sử dụng cho phân tích thống kê đồ thị Về chất R ngôn ngữ máy tính đa dạng, sử dụng cho nhiều mục tiêu khác nhau, từ tính toán đơn giản, toán học giải trí, tính toán ma trận đến phân tích thống kê phức tạp Vì ngôn ngữ người ta sử dụng R để phát triển thành phần mềm chuyên môn cho vấn đề tính toán cá biệt R cung cấp nhiều phép toán hàm đa dạng để phục vụ cho việc tính toán, hầu hết hàm số thông dụng hỗ trợ R Ngoài nhiều hàm phục vụ cho công việc tính toán phức tạp nâng cao cung cấp nhiều gói mở rộng dành cho R 3.2 Áp dụng với số liệu Các phép đo hộp sọ người Ai cập thu thập từ nhà khảo cổ học khoảng thời gian khác nhau, với nhìn hướng tới thiết lập sinh trắc học khác nói chung nghiên cứu khía cạnh tiến hóa Dữ liệu bao gồm bốn phép đo số 30 hộp sọ từ năm khoảng thời gian khác nhau, trình bày Thomson Randall-Maciver(1905) Năm khoảng thời gian khoảng 4000 năm trước công nguyên, 3300 năm trước công nguyên, 1850 năm trước công nguyên, 200 năm trước công nguyên, 150 năm sau công nguyên Đối với số 150 hộp sọ, phép đo 38 Chương Áp dụng đưa sau x1 chiều rộng tối đa hộp sọ (MB) x2 chiều cao hộp sọ (BH) x3 chiều dài hộp sọ (BL) x4 chiều cao mũi (NH) Chúng ta thực lựa chọn mô hình liệu bao gồm bốn phép đo hộp sọ nam giới Ai cập, sống khoảng thời gian khác Sự quan tâm nằm nghiên cứu xu hướng phép đo theo thời gian cấu trúc tương quan phép đo Giả sử xấp xỉ chuẩn, xây dựng cho khoảng thời gian số bốn phép đo, với độ tin cậy 95% cho số đo trung bình biến Chiều rộng tối đa hộp sọ có xu hướng lên theo thời gian, chiều dài hộp sọ lại có xu hướng xuống Lựa chọn mô hình liệu hộp sọ Ai cập bắt đầu cách xây dựng danh sách mô hình Chúng ta sử dụng giả định thông thường Yt,i ∼ N4 (ξt,i , Σt,i ) xem xét vài khả cho mô hình vectơ trung bình cấu trúc hiệp phương sai.Trong khoảng thời gian giả sử nt = 30, vectơ bốn chiều số đo hộp sọ độc lập phân phối Ta có bảng số liệu bốn số đo hộp sọ nam giới Ai cập sau: MB BH BL NH Năm 131 138 89 49 -4000 125 131 92 48 -4000 131 132 99 50 -4000 119 132 96 44 -4000 136 143 100 54 -4000 138 137 89 56 -4000 139 130 108 48 -4000 125 136 93 48 -4000 131 134 102 51 -4000 134 134 99 51 -4000 129 138 95 50 -4000 134 121 95 53 -4000 126 129 109 51 -4000 132 136 100 50 -4000 141 140 100 51 -4000 131 134 97 54 -4000 39 Chương Áp dụng 135 132 139 132 126 135 134 128 130 138 128 127 131 124 124 133 138 148 126 135 132 133 131 133 133 131 131 138 130 131 138 123 130 134 137 126 137 133 136 131 133 135 124 134 130 135 132 129 136 138 138 134 134 129 124 136 145 130 134 125 136 139 136 134 136 128 129 131 129 130 136 131 103 93 96 101 102 103 93 103 104 100 93 106 114 101 101 97 98 104 95 98 100 102 96 94 103 98 99 98 104 98 107 101 105 93 106 100 50 53 50 49 51 47 53 50 49 55 53 48 54 46 48 48 45 51 45 52 54 48 50 46 53 51 56 49 53 45 53 51 47 54 49 48 40 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 Chương Áp dụng 135 129 134 131 132 130 135 130 137 129 132 130 134 140 138 136 136 126 137 137 136 137 129 135 129 134 138 136 132 133 138 130 136 134 136 133 138 136 126 139 134 130 132 132 128 141 133 138 134 134 133 138 145 131 136 129 139 126 133 142 138 135 125 134 135 130 131 137 127 133 123 137 131 133 97 91 101 90 104 93 98 101 96 93 87 106 96 98 95 99 92 95 100 97 101 90 104 102 92 90 96 94 91 100 94 99 91 95 101 96 100 52 50 49 53 50 52 54 51 52 47 48 50 45 50 47 55 46 56 53 50 50 49 47 55 50 60 51 53 52 50 51 45 49 52 54 49 55 41 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 Chương Áp dụng 138 137 141 141 135 133 131 140 139 140 138 132 134 135 133 136 134 131 129 136 131 139 144 141 130 133 138 131 136 132 135 137 136 128 130 138 126 133 134 128 130 131 120 135 137 130 134 140 133 134 135 136 130 137 141 135 128 125 130 124 131 131 128 126 142 138 136 130 123 131 126 134 127 138 91 107 95 87 99 91 90 94 90 90 100 90 97 99 95 99 93 99 95 93 88 94 86 97 98 92 97 95 94 92 100 91 95 91 92 86 101 46 54 53 49 51 46 50 60 48 51 52 53 54 50 52 55 52 55 47 54 48 53 50 53 53 51 54 53 55 52 51 50 49 57 52 47 52 42 -1850 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 150 150 150 150 150 150 Chương Áp dụng 136 126 132 139 143 141 135 137 142 139 138 137 133 145 138 131 143 134 132 137 129 140 147 136 138 126 132 135 120 136 135 134 135 134 125 135 125 129 136 129 126 124 127 125 128 135 129 133 97 92 99 92 95 101 95 93 96 95 99 96 92 89 92 97 88 91 97 85 81 103 87 97 58 45 55 54 51 54 56 53 52 47 51 54 50 47 46 44 54 55 52 57 52 48 48 51 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 Chúng ta áp dụng vào liệu với số mô hình sau: Mô hình 1: Mô hình với giả định nhất.Với khoảng thời gian t có vectơ trung bình ξt khác ma trận hiệp phương sai Σt khác Hàm hợp lý có dạng LM1 = t=1 { 30 i=1 φ(Yt,i − ξt , Σt )}, đó, φ(y, Σ) mật độ phân phối chuẩn N (0, Σ) Các ước lượng hợp lý cực đại ξˆt = y t, Σˆt = n−1 t nt i=1 (yt,i Cực đại loga hàm hợp lý 43 − y t, )(yt,i − y t, )t Chương Áp dụng M1 = ˆ t=1 {−nt log|Σt | − 4nt − 4nt log(2π)} Để tính toán giá trị AIC BIC cần xác định số tham số Với mô hình này, có vectơ trung bình bốn chiều với 20 tham số ma trận hiệp phương sai 4x4 đối xứng dẫn đến 50 tham số Vì mô hình có 70 tham số ước lượng Mô hình 2: Chúng ta đơn giản hóa mô hình Năm ma trận hiệp phương sai Σt nhau, không xác định cấu trúc cho ma trận giả định vectơ trung bình Hàm hợp lý có dạng LM2 = t=1 { 30 i=1 φ(Yt,i − ξt , Σ)}, ước lượng hợp lý cực đại cho vectơ trung bình ξt không thay đổi, Σ chung ước lượng ma trận ˆ M = (1/5) Σ ˆ t=1 Σt Cực đại loga hàm hợp lý M2 ˆ M | − 4n − 4nlog(2π)} = 21 {−nlog|Σ Vì có ma trận hiệp phương sai, nên số tham số ước lượng cho mô hình 5.4 + 10 = 30 Mô hình 3: Để đơn giản xây dựng mô hình với ma trận hiệp phương sai chung mô hình với vectơ trung bình chung ξt = ξ cho tất khoảng thời gian Hàm hợp lý LM3 = t=1 { 30 i=1 φ(Yt,i − ξ, Σ)}, ước lượng hợp lý cực đại cho vectơ trung bình ξˆ = (1/5) 5t=1 ξˆt = y ước ˆM = Σ ˆ M + nt (y t, − y )(y t, − y )t lượng ma trận hiệp phương sai Σ t=1 n Cực đại loga hàm hợp lý M3 ˆ M | − 4n − 4nlog(2π)} = 21 {−nlog|Σ Có + 10 = 14 tham số ước lượng mô hình Mô hình 4: Mô hình xem xét xu hướng tuyến tính theo thời gian vectơ trung bình Cụ thể, giả định ξt = aj + bj t, 44 Chương Áp dụng với j = 1, 2, 3, Để dễ dàng tính toán, ta đặt ξt = α + β(timet − time1 )/1000, t = 1, 2, 3, 4, Hàm hợp lý LM4 = t=1 { 30 i=1 φ(Yt,i − α − β(timet − time1 )/1000, Σ)} Ma trận hiệp phương sai giả định khoảng thời gian Số tham số mô hình + + 10 = 18 Đối với cấu trúc trung bình, tìm ước lượng hợp lý cực đại αˆ = (131.59, 133.72, 99.46, 50.22) βˆ = (1.104, −0.544, −1.390, 0.331) Mô hình 5: Chúng ta giữ nguyên xu hướng tuyến tính mô hình đặt số cấu trúc vào ma trận hiệp phương sai Sự đơn giản hóa mô hình giả định tất phép đo hộp sọ có tương quan Số tham số mô hình + = 13 Bằng cách sử dụng phần mềm R để chạy liệu với mô hình nêu ta có kết sau: Mô hình Số tham số AIC Xếp hạng M1 70 -3506.509 (4) M2 30 -3477.694 (3) M3 14 -3510.816 (5) M4 18 -3463.815 (2) M5 13 -3460.957 (1) BIC Xếp hạng -3717.253 (5) -3568.013 (4) -3552.965 (3) -3518.006 (2) -3500.096 (1) Bảng 3.1 Các giá trị AIC BIC năm mô hình ứng cử viên Chúng ta thấy hai giá trị AIC BIC mô hình lớn giá trị tương ứng mô hình 1, điều ưu tiên cho cấu trúc hiệp phương sai chung Giá trị AIC mô hình nhỏ chút so với mô hình 1, nhỏ nhiều so với mô hình Điều ưu tiên cho mô hình Giá trị BIC mô hình lớn mô hình mô hình 2, điều ưu tiên tiêu chuẩn BIC cho mô hình đơn giản với vectơ trung bình chung ma trận hiệp phương sai chung Các giá trị AIC BIC mô hình lớn giá trị tương ứng mô hình 1, 2, 3, điều ưu tiên mô hình tuyến tính thời gian Giá trị AIC BIC mô hình lớn tất mô hình trên, mô hình đơn giản tốt chọn AIC BIC 45 KẾT LUẬN Luận văn "Một số tiêu chuẩn lựa chọn mô hình" tập trung nghiên cứu vấn đề sau: 1.Trình bày cách hệ thống hai tiêu chuẩn thông tin quan trọng để lựa chọn mô hình, tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Đưa liệu, sử dụng phần mềm R tính giá trị AIC BIC cho năm mô hình khác để lựa chọn mô hình tốt theo hai tiêu chuẩn AIC BIC Mặc dù cố gắng, vấn đề đề cập luận văn tương đối phức tạp thời gian có hạn nên luận văn hạn chế chưa so sánh hiệu hai tiêu chuẩn trên, chưa trình bày số tiêu chuẩn lựa chọn mô hình khác Luận văn không tránh khỏi thiếu sót Tác giả luận văn mong muốn nhận góp ý kiến thầy cô bạn đồng nghiệp để luận văn hoàn chỉnh 46 Phụ lục 47 Phụ lục Chương trình chạy phần mềm R để tính giá trị AIC BIC cho năm mô hình ứng cử viên với liệu phát triển hộp sọ Ai cập data = skulls data1 [...]... Xi ] Chương 2 Một số tiêu chuẩn lựa chọn mô hình Dữ liệu có thể được mô phỏng bằng những cách khác nhau Có thể có những phương pháp đơn giản hơn mà cũng có thể có nhiều tham số hơn Khi có nhiều covarian được đo chúng ta có thể sử dụng tất cả chúng trong mô hình, hoặc chỉ một vài trong số chúng Với một danh sách các mô hình ứng cử viên, lựa chọn mô hình nào là tốt nhất? Để lựa chọn mô hình tốt nhất... xti i=1 Khi mô hình giả định bằng mô hình thật các ma trận ước lượng này là như nhau 2.1.3 Định nghĩa AIC Đối với một mô hình tham số M, tiêu chuẩn thông tin Akaike(AIC) được xác định như sau: ˆ − 2length(θ) = 2 AIC(M ) = 2 n (θ) n,max − 2length(θ), ở đó length(θ) là số các tham số ước lượng trong mô hình, loga hàm hợp lý 17 n,max (2.5) là cực đại của Chương 2 Một số tiêu chuẩn lựa chọn mô hình Ví dụ... với các mô hình hồi quy tham số tổng quát Gợi ý là để sử dụng số hạng phạt đạt được cho các mô hình hồi quy tuyến tính chuẩn và cũng cho các mô hình hợp lý tổng quát, dẫn đến ˆ − 2length(θ) AICc = 2 n (θ) 2.2 2.2.1 n n − length(θ) − 1 (2.14) Tiêu chuẩn thông tin Bayesian(BIC) Nguồn gốc của BIC Một mô hình có thể được tìm thấy bằng cách tính toán xác suất hậu nghiệm của mỗi mô hình và lựa chọn mô hình. .. giữa các mô hình xếp hạng tốt nhất là nhỏ, vì vậy chúng ta không thể đòi hỏi chắc chắn rằng với bất kỳ mức độ nào mà AIC lựa chọn mô hình x4 là cần thiết hơn các mô hình khác 2.1.5 Tiêu chuẩn Takeuchi Chìa khóa thuộc tính cơ sở của phương pháp AIC như xác định trong (2.7), (2.8), đó là độ sai lệch của ước lượng Qˆn có thể được xấp xỉ bởi kích thước tổng 24 Chương 2 Một số tiêu chuẩn lựa chọn mô hình quát... Mục tiêu của phần này là tìm hiểu về mối liên hệ giữa phương pháp hợp lý cực đại và khoảng cách Kullback- Leibler trong hai trường hợp độc lập cùng 11 Chương 2 Một số tiêu chuẩn lựa chọn mô hình phân bố và trường hợp hồi quy Trước hết, chúng ta bắt đầu với một minh họa đơn giản để thấy được cách hoạt động của phương pháp hợp lý cực đại, nó sử dụng dữ liệu và một mô hình tham số để cung cấp một mô hình. .. Các mô hình hồi quy bao gồm các quan sát (xi , Yi ) Ký hiệu g(y | x) là mật độ thật cho Y | x Mô hình tham số sử dụng mật độ f (y | x, θ), khi đó loga hàm hợp lý sẽ là n n (θ) log f (yi | xi , θ) = i=1 Giả sử xa hơn rằng có một số phân phối covarian cơ sở C mà tạo ra các vectơ covarian x1 , , xn Khi đó n1 ni=1 a(xi ) hội tụ tới a(x)dC(x), với một hàm a 14 Chương 2 Một số tiêu chuẩn lựa chọn mô hình. .. (2.7) được chứng minh 21 Chương 2 Một số tiêu chuẩn lựa chọn mô hình d − W = (U )t J −1 U , ở đó U ∼ Nq (0, K) Ta có Vnt JVn → Từ (2.7)dẫn đến xấp xỉ E(Qˆn − Qn ) ≈ p∗ /n, với p∗ = EW = Tr(J −1 K) (2.8) ⇒ Qn ≈ Qˆn − p∗ /n Như vậy cần chọn mô hình có Qˆn − p∗ /n lớn nhất, mà ˆ − p∗ }, Qˆn − p∗ /n = n−1 { n (θ) ˆ − p∗ lớn nhất do đó cần chọn mô hình có n (θ) Nhận xét: Nếu mô hình xấp xỉ là chính xác, tức... đích tới giá trị tham số sai số nhỏ nhất 19 Chương 2 Một số tiêu chuẩn lựa chọn mô hình mà cực tiểu khoảng cách Kullback- Leibler Với ước lượng hợp lý cực đại θˆ thì khoảng cách Kullback- Leibler là: ˆ = KL(g, f (., θ)) ˆ g(y){logg(y) − logf (y, θ)}dy gloggdy − Rn , = với Rn = ˆ g(y)logf (y, θ)dy Ở đây khoảng cách Kullback- Leibler càng nhỏ thì mô hình tham số càng gần với mô hình thật Ta thấy gloggdy... biệt chúng ta sẽ xem một số cách tính toán chính xác dẫn đến sự sửa đổi kích thước mẫu của AIC trực tiếp Chúng ta xem xét mô hình hồi quy tuyến tính tổng quát Y = Xβ + ε và tìm được AIC trực tiếp có thể đạt được là 25 Chương 2 Một số tiêu chuẩn lựa chọn mô hình AIC = −2nlnσˆ − 2(p + 1) − n − nln(2π) (2.10) với σˆ 2 = ||res||2 /n, res = Y − X βˆ; cụ thể, AIC thông báo để chọn mô hình ứng viên làm cực... ta cũng được kết quả tương tự Tóm lại, cho một lớp các mô hình Dùng tiêu chuẩn AIC để lựa chọn mô hình tốt nhất ta làm như sau: Bước 1: Tính giá trị AIC cho mỗi mô hình Bước 2: Chọn mô hình có giá trị AIC lớn nhất Ví dụ 2.1.6 Dữ liệu trọng lượng sinh thấp Trong bộ dữ liệu về trọng lượng sinh thấp có n = 189 phụ nữ và những đứa trẻ mới sinh Ký hiệu: x1 là hằng số đánh chặn (x1 = 1); x2 là trọng lượng ... mà tham số chung cho hai nhóm 33 Chương Một số tiêu chuẩn lựa chọn mô hình Các tham số Mô hình 1, b Mô hình 2, a, b Mô hình 3, µ, σ Mô hình 4, a, b Mô hình 5, k, a, b Mô hình 6, a, b Mô hình 7,... Các mô hình 5, 7, có tham số, với giá trị BIC đưa bảng Mô hình tốt danh sách mô hình ứng cử viên theo cách chọn BIC 34 Chương Một số tiêu chuẩn lựa chọn mô hình Như mô hình tốt hai tiêu chuẩn. .. Các tham số ước lượng, cực đại loga hàm hợp lý điểm số AIC cho mô hình Các tham số Mô hình 1, b Mô hình 2, a, b Mô hình 3,µ, σ Mô hình 4, a, b Mô hình 5, k, a, b Mô hình 6, a, b Mô hình 7, a,