Thống kê robust và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HUYỀN THỐNG KÊ ROBUST VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN NGUYỄN THỊ HUYỀN THỐNG KÊ ROBUST VÀ ỨNG DỤNG Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC Mã số : 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG Hà Nội - 2014 Lời cảm ơn Lời cảm ơn Bản luận văn hoàn thành hướng dẫn bảo nhiệt tình TS Trần Mạnh Cường Trong trình làm việc, em học hỏi Thầy tinh thần làm việc đầy tâm huyết yêu khoa học Chính thế, qua em xin bày tỏ lòng biết ơn chân thành tới Thầy Em muốn bày tỏ cảm ơn chân thành đến tất thầy cô khoa Toán - Cơ - Tin học, trường Đại học khoa học tự nhiên, Đại học Quốc gia Hà Nội bảo tận tình suốt thời gian em học tập trường Nhân dịp này, em xin gửi lời cảm ơn đến gia đình, bạn bè cổ vũ, động viên, giúp đỡ tạo điều kiện tốt cho em suốt trình học tập thực luận văn Do thời gian có hạn trình độ hạn chế nên luận văn em tránh khỏi thiếu sót Em mong nhận đóng góp ý kiến thầy cô bạn để luận văn em hoàn thiện Em xin chân thành cảm ơn Hà Nội, ngày 28 tháng 10 năm 2014 Học viên Nguyễn Thị Huyền Danh mục kí hiệu Danh mục kí hiệu N : Tập số tự nhiên Z : Tập số nguyên Q : Tập số hữu tỷ R : Tập số thực E : Kỳ vọng p − lim : Hội tụ theo xác suất C[a, b] : Liên tục [a, b] P Xn − →X : Xn Hội tụ theo xác suất tới X d : Xn Hội tụ theo phân bố tới X − X Xn → kết thúc chứng minh Mục lục Lời cảm ơn Danh mục kí hiệu Lời nói đầu Ước lượng M 1.1 Định nghĩa 1.2 Tính chất tiệm cận ước lượng M 10 1.3 Ước lượng M cho tham số vị trí 15 1.3.1 Định nghĩa ví dụ 15 1.3.2 Phân bố ước lượng M cho tham số vị trí 18 1.3.3 Một cách nhìn trực quan ước lượng M cho tham số vị trí 21 1.4 Ước lượng M cho tham số tỷ lệ 22 1.5 Tính Robust định lượng định tính ước lượng M 25 Ước lượng M cho mô hình hồi quy tuyến tính 31 2.1 Giới thiệu 31 2.2 Phương pháp bình phương cực tiểu cho mô hình hồi quy 34 2.3 Các phương pháp tìm ngoại lệ 36 2.4 Ước lượng M cho mô hình hồi quy 38 2.5 Các tính chất tiệm cận 40 Ứng dụng 3.1 42 Dữ liệu 42 Mục lục 3.2 Giới thiệu phần mềm R 42 3.3 Các kết phân tích 46 Kết luận 51 Tài liệu tham khảo 52 Lời nói đầu Lời nói đầu Thống kê toán học phương pháp khoa học phân tích xử lý liệu có nhờ thí nghiệm, điều tra nghiên cứu tượng tự nhiên, vấn đề kỹ thuật vấn đề xã hội Tất phương pháp thống kê dựa số giả thiết giả thiết sử dụng nhiều thống kê cổ điển giả sử liệu quan sát biểu diễn phân bố chuẩn Tuy nhiên, liệu thu thực tế thường gồm quan sát có khác biệt lớn với phần lớn quan sát tập liệu gọi giá trị ngoại lệ (outliers) Khi phân bố biểu diễn quan sát xấp xỉ chuẩn Chúng ta xét ví dụ sau : Cho 24 số liệu hàm lượng đồng có bột mỳ (đơn vị phần triệu), xếp theo thứ tự tăng dần bảng sau : 2.20 2.20 2.40 2.40 2.50 2.70 2.80 2.90 3.03 3.03 3.10 3.37 3.40 3.40 3.40 3.50 3.60 3.70 3.70 3.70 3.70 3.77 5.28 28.95 30 Normal Q−Q Plot 15 10 ● Sample Quantiles 20 25 ● ● −2 ● ● ● −1 ● ● ● ● ● ● ● ● ● ● Theoretical Quantiles ● ● ● ● ● ● ● Lời nói đầu Từ hình vẽ ta nhận thấy phần lớn liệu mô tả phân bố chuẩn, tất Giá trị 28.95 chênh lệch lớn với giá trị lại xem giá trị ngoại lệ Trong trường hợp này, đoán 2.895 giá trị Qua tính toán ta x¯ = 4.28 s = 5.3, giá trị x¯ lớn hầu hết tất số liệu trừ hai giá trị 5.28 28.95, ước lượng tốt cho giá trị trung tâm tập liệu(giá trị tập liệu) Nếu xóa số liệu 28.95, kích thước mẫu n = 23, ta có x¯ = 3.21, s = 0.69 Lúc này, trung bình mẫu cung cấp ước lượng tốt cho giá trị trung tâm liệu giá trị SD nhỏ lần so với xét giá trị ngoại lệ 28.95 Giá trị ngoại lệ có ảnh hưởng bất lợi nghiêm trọng đến khoảng tin cậy Sử dụng số liệu ví dụ ta có khoảng tin cậy dựa phân bố Student với độ tin cậy 0.95 (2.05; 6.51), xóa bỏ giá trị ngoại lệ khoảng tin cậy (2.91; 3.51) Qua ví dụ thấy ước lượng cổ điển trung bình mẫu, phương sai mẫu, bị ảnh hưởng nhiều giá trị ngoại lệ Khi chúng ước lượng tốt cần Để khắc phục vấn đề này, nhà nghiên cứu thống kê tìm ước lượng tham số Robust cung cấp ước lượng phù hợp với phần lớn liệu tập liệu chứa giá trị ngoại lệ liệu không chứa giá trị Tuy nhiên, có cần thiết phải sử dụng thống kê Robust tất trường hợp không hay cần thực toán qua hai bước sau : (1) : Loại bỏ giá trị ngoại lệ khỏi tập liệu cách sử dụng quy tắc xóa bỏ ngoại lệ (2) : Sử dụng phương pháp thống kê cổ điển Câu trả lời không lý sau : • Thứ nhất, khó để tách biệt hai bước cách rõ ràng, ví dụ toán hồi quy nhiều tham số khó để Mục lục nhận giá trị ngoại lệ trừ chắn giá trị ngoại lệ • Thứ hai, thực nghiệm phương pháp loại bỏ tốt không hoàn toàn đạt ước lượng tốt sử dụng thống kê Robust • Thứ ba, nghiên cứu thực nghiệm nhiều quy tắc xóa bỏ cổ điển với giá trị ngoại lệ bội : tình xảy giá trị ngoại lệ thứ hai ẩn giá trị ngoại lệ thứ nhất, việc xóa bỏ thực Vì lý nên luận văn, em trình bày ước lượng Robust qua ba chương sau : • Chương : Trình bày khái niệm, tính chất tảng ước lượng Robust hồi quy tuyến tính : Định nghĩa tính chất ước lượng M, ước lượng M cho tham số vị trí tham số tỷ lệ • Chương : Trình bày ước lượng M cho hệ số mô hình hồi quy : Giới thiệu phương pháp bình phương cực tiểu cho mô hình hồi quy, định nghĩa tính chất ước lượng M cho hệ số mô hình hồi quy • Chương : Trình bày ứng dụng ước lượng M cho mô hình hồi quy với liệu cụ thể sử dụng phần mềm R Chương Ước lượng M 1.1 Định nghĩa Cho X đại lượng ngẫu nhiên có phân phối chuẩn N (µ, σo2 ) µ tham số chưa biết, σo2 biết Ta có mẫu X1 , X2 , , Xn X Khi hàm mật độ đồng thời X1 , X2 , , Xn n f (xi ; µ), f (x1 , x2 , , xn , µ) = i=1 Hàm hợp lý 1 exp − L(µ) = n 2σo2 σo (2π)n/2 n (xi − µ)2 i=1 Ước lượng hợp lý cực đại cho µ giá trị µ cực đại L(µ) hay µ cực tiểu n i=1 (xi − µ)2 Nếu ta đặt ρ(x, µ) = (x − µ)2 µ cực tiểu n i=1 ρ(xi , µ) Tổng quát ta có định nghĩa sau ước lượng M : Định nghĩa 1.1.1 Giả sử x1 , x2 , , xn quan sát độc lập có phân phối với hàm mật độ f (x, θ) Một ước lượng M θ : n Tn = arg θ phương trình ẩn ρ(xi ; θ), (1.1) i=1 n ψ(xi ; Tn ) = 0, i=1 với ρ hàm bất kỳ, ψ(x; θ) = (∂/∂θ)ρ(x; θ) (1.2) Tài liệu tham khảo [1] Đào Hữu Hồ (2007), Xác suất thống kê, NXB Đại học Quốc gia Hà Nội [2] Nguyễn Duy Tiến, Đỗ Việt Yến (2000), Lý thuyết xác suất, NXB Đại học Quốc gia Hà Nội [3] Nguyễn Văn Hữu, Nguyễn Hữu Dư (2003), Phân tích thống kê dự báo, NXB Đại học Quốc gia Hà Nội [4] Đặng Hùng Thắng (2000), Thống kê ứng dụng, Nhà xuất giáo dục [5] Huber, P.J.(1981), Robust Statistics, New York: John Wiley & Sons, Inc [6] Montgomery, D.C, Peck, E.A and Vinning, G.G (2001), Introduction to Linear Regression Analysis, 3rd Edition, New York: John Wiley & Sons, Inc [7] Ricardo A Maronna, R Douglas Martin, Vctor J Yohai (2006), Robust Statistics Theory and Methods, New York: John Wiley & Sons, Ltd [8] Ruggero Bellio, Laura Ventura (2005), An Introduction to Robust Estimation with R Functions, Department of Statistics, University of Udine [9] W N Venables, B D Ripley (2002), Modern Applied Statistics with S Fourth Edition, Springer [...]... tham khảo [1] Đào Hữu Hồ (2007), Xác suất thống kê, NXB Đại học Quốc gia Hà Nội [2] Nguyễn Duy Tiến, Đỗ Việt Yến (2000), Lý thuyết xác suất, NXB Đại học Quốc gia Hà Nội [3] Nguyễn Văn Hữu, Nguyễn Hữu Dư (2003), Phân tích thống kê và dự báo, NXB Đại học Quốc gia Hà Nội [4] Đặng Hùng Thắng (2000), Thống kê và ứng dụng, Nhà xuất bản giáo dục [5] Huber, P.J.(1981), Robust Statistics, New York: John Wiley... Linear Regression Analysis, 3rd Edition, New York: John Wiley & Sons, Inc [7] Ricardo A Maronna, R Douglas Martin, Vctor J Yohai (2006), Robust Statistics Theory and Methods, New York: John Wiley & Sons, Ltd [8] Ruggero Bellio, Laura Ventura (2005), An Introduction to Robust Estimation with R Functions, Department of Statistics, University of Udine [9] W N Venables, B D Ripley (2002), Modern Applied Statistics