Một số tiêu chuẩn lựa chọn mô hình

Header Page of 16 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2013 Footer Page of 16 Header Page of 16 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG Hà Nội - 2013 Footer Page of 16 Header Page of 16 MỞ ĐẦU Lựa chọn mô hình (Model selection) toán thống kê nhiều ngành khoa học khác học máy (machine learning), kinh tế lượng (econometrics), Theo R A Fisher có toán thống kê suy luận dự báo gồm - Xác định mô hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mô hình biết Sau xuất công trình Akaike (1973) toán lựa chọn mô hình thu hút quan tâm cộng đồng làm thống kê Với liệu đưa ra, đặt vào nhiều mô hình với mô hình đưa ra, mô hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thông tin để lựa chọn mô hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mô hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn trình bày hai tiêu chuẩn thông tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Luận văn chia làm ba chương Chương Kiến thức chuẩn bị Trong chương này, trình bày kiến thức lượng thông tin Fisher, ước lượng hợp lí cực đại, dạng phân tích hồi quy hồi quy tuyến tính, hồi quy Poisson hồi quy logistic Chương Một số tiêu chuẩn lựa chọn mô hình Chương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ ước lượng hợp lí cực đại khoảng cách Kullback-Leibler, định nghĩa AIC mối liên hệ AIC khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnh cho hồi quy tuyến tính chuỗi thời gian tự hồi quy, trình bày nguồn gốc định nghĩa BIC Chương Áp dụng Trong chương giới thiệu phần mềm R, đưa liệu cụ thể bốn phép đo hộp sọ người Ai cập năm thời kỳ khác lấy website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, i Footer Page of 16 Header Page of 16 áp dụng với năm mô hình ứng cử viên dùng phần mềm R chạy để tìm giá trị AIC BIC cho số năm mô hình ứng cử viên để tìm mô hình tốt theo AIC BIC liệu này, code R tham khảo website Do thời gian trình độ hạn chế nên luận văn không tránh khỏi thiếu sót, tác giả hy vọng nhận nhiều ý kiến đóng góp từ thầy cô giáo bạn đọc để luận văn hoàn chỉnh ii Footer Page of 16 Header Page of 16 LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, hoàn thành luận văn tốt nghiệp với đề tài: “Một số tiêu chuẩn lựa chọn mô hình” Trong suốt trình học tập, triển khai nghiên cứu đề tài, nhận nhiều giúp đỡ thầy cô môn Xác suất thống kê, thầy cô khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, đặc biệt TS Trần Mạnh Cường Tôi xin bày tỏ lòng biết ơn chân thành sâu sắc tới TS Trần Mạnh Cường – người tận tình bảo, giúp đỡ trình nghiên cứu đề tài Tôi xin gửi lời cảm ơn tới Ban giám hiệu, Phòng sau đại học, thầy cô khoa Toán - Cơ - Tin học nói chung thầy cô môn xác suất thống kê Trường Đại học Khoa học Tự nhiên nói riêng tạo điều kiện thuận lợi để hoàn thành luận văn Hà nội, tháng 02 năm 2013 iii Footer Page of 16 Header Page of 16 Danh mục kí hiệu AIC AICc a.s BIC BIC∗ BICexact h(.) H(.) KL L, Ln , n Np (ξ, Op (n−1 ) Var d → − p → − TIC Tr ) Tiêu chuẩn thông tin Akaike AIC hiệu chỉnh hầu chắn tiêu chuẩn thông tin Bayesian xấp xỉ BIC BIC xác tỷ lệ nguy hiểm tỷ lệ nguy hiểm tích lũy khoảng cách kullback - Leibler hàm hợp lý loga hàm hợp lý phân phối chuẩn p biến ngẫu nhiên với vectơ trung bình ξ ma trận phương sai Xn = Op (n−1 ) nghĩa Xn /n−1 hội tụ tới theo xác suất phương sai hội tụ theo phân phối hội tụ theo xác suất tiêu chuẩn thông tin Takeuchi vết ma trận kết thúc chứng minh ví dụ iv Footer Page of 16 Header Page of 16 Mục lục Lời cảm ơn iii Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher 1.2 Ước lượng hợp lý cực đại 1.3 Hồi quy tuyến tính 1.3.1 Giới thiệu mô hình hồi quy tuyến tính cổ điển 1.3.2 Phương pháp ước lượng bình phương cực tiểu 1.3.3 Tính chất ước lượng phương pháp bình phương cực tiểu 1.4 Hồi quy Poisson 1.5 Hồi quy logistic 1 4 7 Một số tiêu chuẩn lựa chọn mô hình 2.1 Tiêu chuẩn thông tin Akaike 2.1.1 Khoảng cách Kullback- Leibler 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback- Leibler 2.1.3 Định nghĩa AIC 2.1.4 AIC khoảng cách Kullback- Leibler 2.1.5 Tiêu chuẩn Takeuchi 2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính 2.2 Tiêu chuẩn thông tin Bayesian(BIC) 2.2.1 Nguồn gốc BIC 2.2.2 Định nghĩa BIC 2.2.3 Ai người viết ’The Quiet Don’ ? 10 10 10 11 17 19 24 25 28 28 30 35 Áp dụng 38 3.1 Giới thiệu phần mềm R 38 3.2 Áp dụng với số liệu 38 v Footer Page of 16 Header Page of 16 MỤC LỤC Kết luận 46 Phụ lục 47 Tài liệu tham khảo 51 vi Footer Page of 16 Header Page of 16 Chương Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher Định nghĩa 1.1.1 Cho X biến ngẫu nhiên vectơ ngẫu nhiên có phân bố phụ thuộc vào tham số chưa biết θ ∈ Θ, với mật độ f (x, θ), θ ∈ Θ Giả sử df (x,θ) f (x, θ) khả vi theo θ dλ < ∞ Khi lượng thông tin Fisher tham dθ X số θ chứa X IX (θ) = Eθ [ dlnf (X, θ) dθ ]2 Dễ dàng Eθ [ dlnfdθ(X,θ) ] = Do dlnf (X, θ) ] dθ Với điều kiện không chặt đặt lên f (x, θ) người ta chứng minh IX (θ) = V ar[ d2 lnf (X, θ) IX (θ) = −E[ ] dθ2 Chú ý: Nếu X1 , X2 hai biến ngẫu nhiên độc lập phụ thuộc vào tham số θ mật độ đồng thời X1 , X2 là: f (x1 , x2 , θ) = fX1 (θ).fX2 (θ) Nên: I(X1 ,X2 ) (θ) = V ar[ dlnf (X1 , X2 , θ) dθ = IX1 (θ) + IX2 (θ) ] = V ar[ dlnfX1 (X1 , θ) dθ ] + V ar[ dlnfX2 (X2 , θ) dθ ] Do X1 , X2 , , Xn mẫu ngẫu nhiên X, lượng thông tin Fisher tham số θ chứa mẫu là: Footer Page of 16 Header Page 10 of 16 Chương Kiến thức chuẩn bị I(θ) = I(X1 ,X2 , ,Xn ) (θ) = nIX1 (θ) Ví dụ 1.1.1 Tính lượng thông tin mẫu đơn giản (X1 , X2 , , Xn ) lấy từ họ phân bố chuẩn với tham số (µ, σ ) tham số σ Ta có hàm mật độ đồng thời X1 , X2 , , Xn 1 p(X, µ, σ ) = n exp[− 2σ (2πσ ) n (Xi − µ)2 ] i=1 n n lnp(X, µ, σ ) = − ln2π − lnσ − 2 2σ n ∂ lnp(X, µ, σ ) n =− + ∂σ 2σ 2σ (Xi − µ)2 i=1 n (Xi − µ)2 i=1 ∂ lnp(X, µ, σ ) ∂ lnp(X, µ, σ ) ) = V ar( ) ⇒ IX (σ ) = E( ∂σ ∂σ n n = V ar[(X1 − µ)2 ] = 4σ 2σ Trường hợp nhiều chiều: Khi phân bố X phụ thuộc N tham số θ = (θ1 , θ2 , , θN )T ma trận thông tin Fisher có dạng [I(θ)]i,j = Eθ [ ∂ lnf (X, θ) ∂ lnf (X, θ) ] ∂θi ∂θj Đây ma trận đối xứng, xác định không âm Với số điều kiện quy người ta [I(θ)]i,j = −Eθ [ 1.2 ∂ lnf (X, θ) ] ∂θi ∂θj Ước lượng hợp lý cực đại Cho mô hình thống kê (X, B, Pθ , θ ∈ Θ), Θ khoảng mở không gian Euclide k chiều Pθ µ với µ độ đo σ− hữu hạn B Đặt p(x, θ) = Footer Page 10 of 16 dPθ dµ Header Page 45 of 16 Chương Một số tiêu chuẩn lựa chọn mô hình Có thể điều xấp xỉ hoàn toàn xác tình Để tiến hành xa hơn, thảo luận khác biệt thực tiên nghiệm bao gồm Tất khác biệt nguyên tắc liên hệ với đánh giá tiên nghiệm vectơ (p, ξ, a, b) ba phân phối xác suất Tính toán dẫn đến BIC∗1 = 2( BIC∗2 BIC∗3 1,3,max + 2,max ) − 4log(n1 + n3 ) − 4logn2 − log|J1,3 | − log|J2 | + 8log(2π), = 2( 2,3,max + 1,max ) − 4log(n2 + n3 ) − 4logn1 − log|J2,3 | − log|J1 | + 8log(2π), = 2( 1,max + 2,max + 3,max ) − 4logn1 − 4logn2 − 4logn3 − log|J1 | − log|J2 | − log|J3 | + 12log(2π) Các tính toán để tìm ước lượng hợp lý cực đại cho θ chung Sh QD M1 , θ chung Kr QD M2 cuối dẫn đến M1 M2 M3 AIC -79490.8 -79504.4 -79494.5 BIC∗ -79515.5 -79530.6 -79528.6 Chúng ta kết luận liệu độ dài câu nói mạnh mẽ nghiêng người đoạt giải Nobel bác bỏ cáo buộc ’D’ suy đoán Tính toán mô hình xác suất hậu nghiệm qua (2.24) đưa đến số gần với cho M2 M3 gần với cho M1 Sử dụng (2.19) với xác suất tiên nghiệm ta 0.998 cho Sholokhov lại 0.002 chia sẻ Kriukov mô hình trung hòa mà ba tuyển tập khác Thậm chí Solzhenitsyn bắt đầu với P (M1 ) = 0.05 P (M2 ) = 0.95 bị buộc phải sửa đổi xác suất P (M1 ) = 0.99 P (M2 ) = 0.01 Lập luận sử dụng để cung cấp công thức chung cho phân loại, trường hợp mà lớp mật độ mô hình hóa 37 Footer Page 45 of 16 Header Page 46 of 16 Chương Áp dụng 3.1 Giới thiệu phần mềm R R phần mềm phân tích liệu xây dựng Ross Ihaka Robert Gentleman thuộc trường Đại học AucKland, Newzealand tiếp tục phát triển nhóm nhà khoa học R phần mềm sử dụng cho phân tích thống kê đồ thị Về chất R ngôn ngữ máy tính đa dạng, sử dụng cho nhiều mục tiêu khác nhau, từ tính toán đơn giản, toán học giải trí, tính toán ma trận đến phân tích thống kê phức tạp Vì ngôn ngữ người ta sử dụng R để phát triển thành phần mềm chuyên môn cho vấn đề tính toán cá biệt R cung cấp nhiều phép toán hàm đa dạng để phục vụ cho việc tính toán, hầu hết hàm số thông dụng hỗ trợ R Ngoài nhiều hàm phục vụ cho công việc tính toán phức tạp nâng cao cung cấp nhiều gói mở rộng dành cho R 3.2 Áp dụng với số liệu Các phép đo hộp sọ người Ai cập thu thập từ nhà khảo cổ học khoảng thời gian khác nhau, với nhìn hướng tới thiết lập sinh trắc học khác nói chung nghiên cứu khía cạnh tiến hóa Dữ liệu bao gồm bốn phép đo số 30 hộp sọ từ năm khoảng thời gian khác nhau, trình bày Thomson Randall-Maciver(1905) Năm khoảng thời gian khoảng 4000 năm trước công nguyên, 3300 năm trước công nguyên, 1850 năm trước công nguyên, 200 năm trước công nguyên, 150 năm sau công nguyên Đối với số 150 hộp sọ, phép đo 38 Footer Page 46 of 16 Header Page 47 of 16 Chương Áp dụng đưa sau x1 chiều rộng tối đa hộp sọ (MB) x2 chiều cao hộp sọ (BH) x3 chiều dài hộp sọ (BL) x4 chiều cao mũi (NH) Chúng ta thực lựa chọn mô hình liệu bao gồm bốn phép đo hộp sọ nam giới Ai cập, sống khoảng thời gian khác Sự quan tâm nằm nghiên cứu xu hướng phép đo theo thời gian cấu trúc tương quan phép đo Giả sử xấp xỉ chuẩn, xây dựng cho khoảng thời gian số bốn phép đo, với độ tin cậy 95% cho số đo trung bình biến Chiều rộng tối đa hộp sọ có xu hướng lên theo thời gian, chiều dài hộp sọ lại có xu hướng xuống Lựa chọn mô hình liệu hộp sọ Ai cập bắt đầu cách xây dựng danh sách mô hình Chúng ta sử dụng giả định thông thường Yt,i ∼ N4 (ξt,i , Σt,i ) xem xét vài khả cho mô hình vectơ trung bình cấu trúc hiệp phương sai.Trong khoảng thời gian giả sử nt = 30, vectơ bốn chiều số đo hộp sọ độc lập phân phối Ta có bảng số liệu bốn số đo hộp sọ nam giới Ai cập sau: MB BH BL NH Năm 131 138 89 49 -4000 125 131 92 48 -4000 131 132 99 50 -4000 119 132 96 44 -4000 136 143 100 54 -4000 138 137 89 56 -4000 139 130 108 48 -4000 125 136 93 48 -4000 131 134 102 51 -4000 134 134 99 51 -4000 129 138 95 50 -4000 134 121 95 53 -4000 126 129 109 51 -4000 132 136 100 50 -4000 141 140 100 51 -4000 131 134 97 54 -4000 39 Footer Page 47 of 16 Header Page 48 of 16 Chương Áp dụng 135 132 139 132 126 135 134 128 130 138 128 127 131 124 124 133 138 148 126 135 132 133 131 133 133 131 131 138 130 131 138 123 130 134 137 126 137 133 136 131 133 135 124 134 130 135 132 129 136 138 138 134 134 129 124 136 145 130 134 125 136 139 136 134 136 128 129 131 129 130 136 131 103 93 96 101 102 103 93 103 104 100 93 106 114 101 101 97 98 104 95 98 100 102 96 94 103 98 99 98 104 98 107 101 105 93 106 100 50 53 50 49 51 47 53 50 49 55 53 48 54 46 48 48 45 51 45 52 54 48 50 46 53 51 56 49 53 45 53 51 47 54 49 48 40 Footer Page 48 of 16 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -4000 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 Header Page 49 of 16 Chương Áp dụng 135 129 134 131 132 130 135 130 137 129 132 130 134 140 138 136 136 126 137 137 136 137 129 135 129 134 138 136 132 133 138 130 136 134 136 133 138 136 126 139 134 130 132 132 128 141 133 138 134 134 133 138 145 131 136 129 139 126 133 142 138 135 125 134 135 130 131 137 127 133 123 137 131 133 97 91 101 90 104 93 98 101 96 93 87 106 96 98 95 99 92 95 100 97 101 90 104 102 92 90 96 94 91 100 94 99 91 95 101 96 100 52 50 49 53 50 52 54 51 52 47 48 50 45 50 47 55 46 56 53 50 50 49 47 55 50 60 51 53 52 50 51 45 49 52 54 49 55 41 Footer Page 49 of 16 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -3300 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 -1850 Header Page 50 of 16 Chương Áp dụng 138 137 141 141 135 133 131 140 139 140 138 132 134 135 133 136 134 131 129 136 131 139 144 141 130 133 138 131 136 132 135 137 136 128 130 138 126 133 134 128 130 131 120 135 137 130 134 140 133 134 135 136 130 137 141 135 128 125 130 124 131 131 128 126 142 138 136 130 123 131 126 134 127 138 91 107 95 87 99 91 90 94 90 90 100 90 97 99 95 99 93 99 95 93 88 94 86 97 98 92 97 95 94 92 100 91 95 91 92 86 101 46 54 53 49 51 46 50 60 48 51 52 53 54 50 52 55 52 55 47 54 48 53 50 53 53 51 54 53 55 52 51 50 49 57 52 47 52 42 Footer Page 50 of 16 -1850 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 -200 150 150 150 150 150 150 Header Page 51 of 16 Chương Áp dụng 136 126 132 139 143 141 135 137 142 139 138 137 133 145 138 131 143 134 132 137 129 140 147 136 138 126 132 135 120 136 135 134 135 134 125 135 125 129 136 129 126 124 127 125 128 135 129 133 97 92 99 92 95 101 95 93 96 95 99 96 92 89 92 97 88 91 97 85 81 103 87 97 58 45 55 54 51 54 56 53 52 47 51 54 50 47 46 44 54 55 52 57 52 48 48 51 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 150 Chúng ta áp dụng vào liệu với số mô hình sau: Mô hình 1: Mô hình với giả định nhất.Với khoảng thời gian t có vectơ trung bình ξt khác ma trận hiệp phương sai Σt khác Hàm hợp lý có dạng LM1 = t=1 { 30 i=1 φ(Yt,i − ξt , Σt )}, đó, φ(y, Σ) mật độ phân phối chuẩn N (0, Σ) Các ước lượng hợp lý cực đại ξˆt = y t, Σˆt = n−1 t nt i=1 (yt,i Cực đại loga hàm hợp lý 43 Footer Page 51 of 16 − y t, )(yt,i − y t, )t Header Page 52 of 16 Chương Áp dụng M1 = ˆ t=1 {−nt log|Σt | − 4nt − 4nt log(2π)} Để tính toán giá trị AIC BIC cần xác định số tham số Với mô hình này, có vectơ trung bình bốn chiều với 20 tham số ma trận hiệp phương sai 4x4 đối xứng dẫn đến 50 tham số Vì mô hình có 70 tham số ước lượng Mô hình 2: Chúng ta đơn giản hóa mô hình Năm ma trận hiệp phương sai Σt nhau, không xác định cấu trúc cho ma trận giả định vectơ trung bình Hàm hợp lý có dạng LM2 = t=1 { 30 i=1 φ(Yt,i − ξt , Σ)}, ước lượng hợp lý cực đại cho vectơ trung bình ξt không thay đổi, Σ chung ước lượng ma trận ˆ M = (1/5) Σ ˆ t=1 Σt Cực đại loga hàm hợp lý M2 ˆ M | − 4n − 4nlog(2π)} = 21 {−nlog|Σ Vì có ma trận hiệp phương sai, nên số tham số ước lượng cho mô hình 5.4 + 10 = 30 Mô hình 3: Để đơn giản xây dựng mô hình với ma trận hiệp phương sai chung mô hình với vectơ trung bình chung ξt = ξ cho tất khoảng thời gian Hàm hợp lý LM3 = t=1 { 30 i=1 φ(Yt,i − ξ, Σ)}, ước lượng hợp lý cực đại cho vectơ trung bình ξˆ = (1/5) 5t=1 ξˆt = y ước ˆM = Σ ˆ M + nt (y t, − y )(y t, − y )t lượng ma trận hiệp phương sai Σ t=1 n Cực đại loga hàm hợp lý M3 ˆ M | − 4n − 4nlog(2π)} = 21 {−nlog|Σ Có + 10 = 14 tham số ước lượng mô hình Mô hình 4: Mô hình xem xét xu hướng tuyến tính theo thời gian vectơ trung bình Cụ thể, giả định ξt = aj + bj t, 44 Footer Page 52 of 16 Header Page 53 of 16 Chương Áp dụng với j = 1, 2, 3, Để dễ dàng tính toán, ta đặt ξt = α + β(timet − time1 )/1000, t = 1, 2, 3, 4, Hàm hợp lý LM4 = t=1 { 30 i=1 φ(Yt,i − α − β(timet − time1 )/1000, Σ)} Ma trận hiệp phương sai giả định khoảng thời gian Số tham số mô hình + + 10 = 18 Đối với cấu trúc trung bình, tìm ước lượng hợp lý cực đại αˆ = (131.59, 133.72, 99.46, 50.22) βˆ = (1.104, −0.544, −1.390, 0.331) Mô hình 5: Chúng ta giữ nguyên xu hướng tuyến tính mô hình đặt số cấu trúc vào ma trận hiệp phương sai Sự đơn giản hóa mô hình giả định tất phép đo hộp sọ có tương quan Số tham số mô hình + = 13 Bằng cách sử dụng phần mềm R để chạy liệu với mô hình nêu ta có kết sau: Mô hình Số tham số AIC Xếp hạng M1 70 -3506.509 (4) M2 30 -3477.694 (3) M3 14 -3510.816 (5) M4 18 -3463.815 (2) M5 13 -3460.957 (1) BIC Xếp hạng -3717.253 (5) -3568.013 (4) -3552.965 (3) -3518.006 (2) -3500.096 (1) Bảng 3.1 Các giá trị AIC BIC năm mô hình ứng cử viên Chúng ta thấy hai giá trị AIC BIC mô hình lớn giá trị tương ứng mô hình 1, điều ưu tiên cho cấu trúc hiệp phương sai chung Giá trị AIC mô hình nhỏ chút so với mô hình 1, nhỏ nhiều so với mô hình Điều ưu tiên cho mô hình Giá trị BIC mô hình lớn mô hình mô hình 2, điều ưu tiên tiêu chuẩn BIC cho mô hình đơn giản với vectơ trung bình chung ma trận hiệp phương sai chung Các giá trị AIC BIC mô hình lớn giá trị tương ứng mô hình 1, 2, 3, điều ưu tiên mô hình tuyến tính thời gian Giá trị AIC BIC mô hình lớn tất mô hình trên, mô hình đơn giản tốt chọn AIC BIC 45 Footer Page 53 of 16 Header Page 54 of 16 KẾT LUẬN Luận văn "Một số tiêu chuẩn lựa chọn mô hình" tập trung nghiên cứu vấn đề sau: 1.Trình bày cách hệ thống hai tiêu chuẩn thông tin quan trọng để lựa chọn mô hình, tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian Đưa liệu, sử dụng phần mềm R tính giá trị AIC BIC cho năm mô hình khác để lựa chọn mô hình tốt theo hai tiêu chuẩn AIC BIC Mặc dù cố gắng, vấn đề đề cập luận văn tương đối phức tạp thời gian có hạn nên luận văn hạn chế chưa so sánh hiệu hai tiêu chuẩn trên, chưa trình bày số tiêu chuẩn lựa chọn mô hình khác Luận văn không tránh khỏi thiếu sót Tác giả luận văn mong muốn nhận góp ý kiến thầy cô bạn đồng nghiệp để luận văn hoàn chỉnh 46 Footer Page 54 of 16 Header Page 55 of 16 Phụ lục 47 Phụ lục Chương trình chạy phần mềm R để tính giá trị AIC BIC cho năm mô hình ứng cử viên với liệu phát triển hộp sọ Ai cập data = skulls data1