Đang tải... (xem toàn văn)
ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MÔ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội 2013 z ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA[.]
ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MƠ HÌNH LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2013 z ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN PHẠM THỊ HOA MỘT SỐ TIÊU CHUẨN LỰA CHỌN MƠ HÌNH Chun ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 15 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG Hà Nội - 2013 z MỞ ĐẦU Lựa chọn mơ hình (Model selection) toán thống kê nhiều ngành khoa học khác học máy (machine learning), kinh tế lượng (econometrics), Theo R A Fisher có tốn thống kê suy luận dự báo gồm - Xác định mô hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai tốn sau với giả thiết mơ hình biết Sau xuất cơng trình Akaike (1973) tốn lựa chọn mơ hình thu hút quan tâm cộng đồng làm thống kê Với liệu đưa ra, đặt vào nhiều mơ hình với mơ hình đưa ra, mơ hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thơng tin để lựa chọn mơ hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mơ hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn tơi trình bày hai tiêu chuẩn thơng tin quan trọng tiêu chuẩn thơng tin Akaike tiêu chuẩn thông tin Bayesian Luận văn chia làm ba chương Chương Kiến thức chuẩn bị Trong chương này, tơi trình bày kiến thức lượng thông tin Fisher, ước lượng hợp lí cực đại, dạng phân tích hồi quy hồi quy tuyến tính, hồi quy Poisson hồi quy logistic Chương Một số tiêu chuẩn lựa chọn mơ hình Chương này, trình bày khoảng cách Kullback- Leibler, mối liên hệ ước lượng hợp lí cực đại khoảng cách Kullback-Leibler, định nghĩa AIC mối liên hệ AIC khoảng cách Kullback-Leibler, tiêu chuẩn Takeuchi, AIC hiệu chỉnh cho hồi quy tuyến tính chuỗi thời gian tự hồi quy, trình bày nguồn gốc định nghĩa BIC Chương Áp dụng Trong chương giới thiệu phần mềm R, đưa liệu cụ thể bốn phép đo hộp sọ người Ai cập năm thời kỳ khác lấy website: ”www.econ.kuleuven.be/gerda.claeskens/public/modelselection.”, i z áp dụng với năm mơ hình ứng cử viên dùng phần mềm R chạy để tìm giá trị AIC BIC cho số năm mô hình ứng cử viên để tìm mơ hình tốt theo AIC BIC liệu này, code R tham khảo website Do thời gian trình độ cịn hạn chế nên luận văn khơng tránh khỏi thiếu sót, tác giả hy vọng nhận nhiều ý kiến đóng góp từ thầy giáo bạn đọc để luận văn hoàn chỉnh ii z LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, Trường Đại học Khoa học Tự nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, tơi hồn thành luận văn tốt nghiệp với đề tài: “Một số tiêu chuẩn lựa chọn mơ hình” Trong suốt q trình học tập, triển khai nghiên cứu đề tài, nhận nhiều giúp đỡ thầy cô môn Xác suất thống kê, thầy cô khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, đặc biệt TS Trần Mạnh Cường Tôi xin bày tỏ lòng biết ơn chân thành sâu sắc tới TS Trần Mạnh Cường – người tận tình bảo, giúp đỡ tơi q trình nghiên cứu đề tài Tôi xin gửi lời cảm ơn tới Ban giám hiệu, Phịng sau đại học, thầy khoa Tốn - Cơ - Tin học nói chung thầy cô môn xác suất thống kê Trường Đại học Khoa học Tự nhiên nói riêng tạo điều kiện thuận lợi để tơi hoàn thành luận văn Hà nội, tháng 02 năm 2013 iii z Danh mục kí hiệu AIC AICc a.s BIC BIC∗ BICexact h(.) H(.) KL L, Ln `, `n Np (ξ, P Op (n−1 ) Var d → − p → − TIC Tr ) Tiêu chuẩn thông tin Akaike AIC hiệu chỉnh hầu chắn tiêu chuẩn thông tin Bayesian xấp xỉ BIC BIC xác tỷ lệ nguy hiểm tỷ lệ nguy hiểm tích lũy khoảng cách kullback - Leibler hàm hợp lý loga hàm hợp lý phân phối chuẩn p biến ngẫu nhiên với vectơ trung bình ξ P ma trận phương sai Xn = Op (n−1 ) nghĩa Xn /n−1 hội tụ tới theo xác suất phương sai hội tụ theo phân phối hội tụ theo xác suất tiêu chuẩn thông tin Takeuchi vết ma trận kết thúc chứng minh ví dụ iv z Mục lục Lời cảm ơn iii Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher 1.2 Ước lượng hợp lý cực đại 1.3 Hồi quy tuyến tính 1.3.1 Giới thiệu mơ hình hồi quy tuyến tính cổ điển 1.3.2 Phương pháp ước lượng bình phương cực tiểu 1.3.3 Tính chất ước lượng phương pháp bình phương cực tiểu 1.4 Hồi quy Poisson 1.5 Hồi quy logistic 1 4 7 Một số tiêu chuẩn lựa chọn mơ hình 2.1 Tiêu chuẩn thơng tin Akaike 2.1.1 Khoảng cách Kullback- Leibler 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback- Leibler 2.1.3 Định nghĩa AIC 2.1.4 AIC khoảng cách Kullback- Leibler 2.1.5 Tiêu chuẩn Takeuchi 2.1.6 AIC hiệu chỉnh cho hồi quy tuyến tính 2.2 Tiêu chuẩn thông tin Bayesian(BIC) 2.2.1 Nguồn gốc BIC 2.2.2 Định nghĩa BIC 2.2.3 Ai người viết ’The Quiet Don’ ? 10 10 10 11 17 19 24 25 28 28 30 35 Áp dụng 38 3.1 Giới thiệu phần mềm R 38 3.2 Áp dụng với số liệu 38 v z MỤC LỤC Kết luận 46 Phụ lục 47 Tài liệu tham khảo 51 vi z Chương Kiến thức chuẩn bị 1.1 Lượng thông tin Fisher Định nghĩa 1.1.1 Cho X biến ngẫu nhiên vectơ ngẫu nhiên có phân bố phụ thuộc vào tham số chưa ... cử viên, lựa chọn mơ hình tốt nhất? Để lựa chọn mơ hình tốt người ta đưa tiêu chuẩn thông tin Trong chương trình bày hai tiêu chuẩn thơng tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông... thông tin để lựa chọn mơ hình phù hợp tiêu chuẩn thông tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC) Việc lựa chọn mơ hình phù hợp trung tâm cho tất công tác thống kê với liệu Lựa chọn biến... Chương Một số tiêu chuẩn lựa chọn mơ hình Dữ liệu mơ cách khác Có thể có phương pháp đơn giản mà có nhiều tham số Khi có nhiều covarian đo sử dụng tất chúng mơ hình, vài số chúng Với danh sách mô hình