Một số tiêu chuẩn lựa chọn mô hình

ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MƠ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2013 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MƠ HÌNH Chun ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG Hà Nội - 2013 MỞ ĐẦU Lựa chọn mơ hình (Model selection) toán thống kê nhiều ngành khoa học khác học máy (machine learning), kinh tế lượng (econometrics), Theo R A Fisher có tốn thống kê suy luận dự báo gồm - Xác định mơ hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mơ hình biết Sau xuất cơng trình Akaike (1973) tốn lựa chọn mơ hình thu hút quan tâm cộng đồng làm thống kê Với liệu đưa ra, đặt vào nhiều mơ hình với mơ hình đưa ra, mơ hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thơng tin để lựa chọn mơ hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mơ hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến để sử dụng mơ hình hồi quy ví dụ quan trọng Luận văn tơi trình bày hai tiêu chuẩn thơng tin quan trọng tiêu chuẩn thơng tin Akaike tiêu chuẩn thông tin Bayesian Luận văn chia làm ba chương Chương Kiến thức chuẩn bị Trong chương này, tơi trình bày kiến thức lượng thơng tin Fisher, ước lượng hợp lí cực đại, dạng phân tích hồi quy hồi quy tuyến tính, hồi quy Poisson hồi quy logistic Chương Một số tiêu chuẩn lựa chọn mơ hình Chương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ ước lượng hợp lí cực đại khoảng cách Kullback-Leibler, định nghĩa AIC mối liên hệ AIC khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnh cho hồi quy tuyến tính chuỗi thời gian tự hồi quy, trình bày nguồn gốc định nghĩa BIC Chương Áp dụng Trong chương giới thiệu phần mềm R, đưa liệu cụ thể bốn phép đo hộp sọ người Ai cập năm thời kỳ khác lấy website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, i áp dụng với năm mơ hình ứng cử viên dùng phần mềm R chạy để tìm giá trị AIC BIC cho số năm mơ hình ứng cử viên để tìm mơ hình tốt theo AIC BIC liệu này, code R tham khảo website Do thời gian trình độ cịn hạn chế nên luận văn khơng tránh khỏi thiếu sót, tác giả hy vọng nhận nhiều ý kiến đóng góp từ thầy cô giáo bạn đọc để luận văn hoàn chỉnh ii LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, tơi hồn thành luận văn tốt nghisử dụng phần mềm R tính giá trị AIC BIC cho năm mơ hình khác để lựa chọn mơ hình tốt theo hai tiêu chuẩn AIC BIC Mặc dù cố gắng, vấn đề đề cập luận văn tương đối phức tạp thời gian có hạn nên luận văn cịn hạn chế chưa so sánh hiệu hai tiêu chuẩn trên, chưa trình bày số tiêu chuẩn lựa chọn mơ hình khác Luận văn khơng tránh khỏi thiếu sót Tác giả luận văn mong muốn nhận góp ý kiến thầy cô bạn đồng nghiệp để luận văn hoàn chỉnh 46 Phụ lục 47 Phụ lục Chương trình chạy phần mềm R để tính giá trị AIC BIC cho năm mơ hình ứng cử viên với liệu phát triển hộp sọ Ai cập data = skulls data1