DSpace at VNU: QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYỄN ĐỨC HÙNG QUYẾT ĐỊNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60 46 01 06 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC Ngƣời hƣớng dẫn khoa học: TS TRỊNH QUỐC ANH HàNội – 2014 MỞ ĐẦU Thế giới xung quanh chứa điều bí ẩn Những biết giới nhỏ bé so với hùng vĩ Xuất phát từ nhu cầu muốn tìm hiểu, khám phá giới tự nhiên, hàng loạt ngành khoa học chuyên sâu đời, có khoa học thống kê Thống kê (theo nghĩa thống kê toán học) khoa học phƣơng pháp tổng quát xử lí kết thực nghiệm Hiện nay, giới có hai trƣờng phái suy luận tồn phát triển song song với : thống kê tần suất thống kê Bayes Thống kê tần suất (thống kê cổ điển) xem tham số giá trị nhƣng không ngẫu nhiên thống kê Bayes coi tham số biến ngẫu nhiên Suy luận Bayes thể cách suy nghĩ phổ biến tất tiếp thu kiến thức theo kiểu tích lũy Có thể diễn đạt thống kê Bayes nhƣ sau “những biết tổng hợp biết cộng với chứng thực tế ” Trong luận văn này, tác giả trình bày tổng quan thống kê Bayes, thống kê Bayes mô hình hồi quy tuyến tính mơ hình chuỗi thời gian, ứng dụng Occam’s razor để giải số tốn thực tế Luận văn gồm có: CHƢƠNG CƠ SỞ LÝ THUYẾT Trongchƣơng 1, tácgiảhệthống suy luận Bayes cho biến ngẫu nhiên rời rạc liên tục, đại diện tƣơng ứng phân phối nhị thức phân phối chuẩn, với tiên nghiệm rời rạc liên tục So sánh suy luận tần suất Bayes Đồng thời giới thiệu phƣơng pháp MCMC phƣơng pháp thông dụng hiệu để lấy mẫu cho phân phối hậu nghiệm CHƢƠNG BÀI TỐN OCCAM’S RAZOR Trong chƣơng 2, tác giả trình bày mơ hình hồi quy tuyến tính ứng dụng tốn Occam’s razor việc lựa chọn mơ hình (chọn biến), sử dụng thuật tốn lấy mẫu Gibbs CHƢƠNG QUYẾT ĐỊNH BAYES TRONG MƠ HÌNH CHUỖI THỜI GIAN Trong chƣơng 3, tác giả trình bàyứng dụng tốn Occam’s Razor mơ hình log-tuyến tính sử dụng thuật tốn Metropolis-Hastings để xấp xỉ hàm hợp lý Tác giả trình bày Thống kê Bayes mơ hình chuỗi thời gian, kết ƣớc lƣợng, dự đoán số thuật tốn chạy sử dụng phân tích số liệu Bayes : Thuật toán nhảy ngƣợc, thuật toán Metropolis-Hastings Đồng thời tác giả ứng dụng tốn Occam’s razor mơ hình Cuối phần kết luận: Tóm tắt nội dung luận văn, kết thu đƣợc hƣớng tiếp tục nghiên cứu CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Tổng quan thống kê Bayes Với mô hìnhxácsuất f ( y |  ) , trongđóy liệuthựctế,  làthamsố chƣa biết, có hai cách hiểu vềthamsố  tƣơngứngvới hai trƣờng phái suy luận: thống kê tần suất thống kê Bayes Nếu nhƣ suy luận thống kê cổ điển coi tham số  nhƣ giá trị cố định chƣa biết, thống kê Bayes coi  biến ngẫu nhiên Cơ sở suy luận Bayes định lí Bayes Định lí cho phép xác định xác suất xảy kiện ngẫu nhiên biết kiện liênquanxảyra Phân phối hậunghiệmcủa X / Y  y j là: g ( xi / y j )  g ( xi ) f ( y j / xi ) n  g ( xi ) f ( y j / xi ) n ,  g(x / y )  i 1 i j i 1 1.2 Suy luận Bayes cho biến ngẫu nhiên rời rạc 1.2.1 Ướclượngchotỷlệpcủa phân phối nhị thức a Ước lượng điểm Sử dụng trung bình hậu nghiệm để ƣớclƣợngcho p b Ước lượng khoảng Ta dùng khoảng tin đƣợc Bayes ( Bayesian credible interval ) để ƣớc lƣợng cho p Sử dụngtiênnghiệm Beta(a, b) , phânphốihậu nghiệm tƣơngứnglà Beta(a ', b ') Khoảng tin đƣợc (1   ).100% choplà : (m ' z /2 s '; m ' z /2 s ') , trongđó: m'  a' a 'b ' , s'2  a ' b ' (a ' b ')2 (a ' b ' 1) 1.2.2 Kiểm định giảthiếtchotỷlệpcủa phân phối nhị thức a.Kiể mđinhmô ̣ ̣tphía  H : p  p0 Kiể mđinh tạimức ý nghĩa  Tínhtốnxácsuấthậunghiệmbằngcách sau : ̣   H1 : p  p0 p0 P( H : p  p0 / y)   g ( p / y)dp Bácbỏ giả thuyếtH0nế uxácsuấ thâ ̣unghiệmnhỏ  b Kiể mđinh ̣ 2-phía Ta sƣ̉ du ̣ngkhoảng tin đƣ ợc Bayes chop :Nế up0nằ mtrongkhoảng tin đƣ ợc, ta chấ pnhâ ̣ngiả thuyế t H0và nếup0nằ mngoàikhoảngđó thì ta bácbỏ giả thuyế t 1.3 Suy luận Bayes cho biến ngẫu nhiên liên tục 1.3.1.Ước lượng chotrungbình  củaphânphối chuẩn a Ước lượng điểm Sƣ̉ du ̣ngkỳ vo ̣ngcủa  trongphânphố ihâ ̣unghiê ̣mđể ƣớclƣơ ̣ngcho    E   / y , y , , y    B n 1/ s n / m  y n /   1/ s n /   1/ s b Ước lượng khoảng Sử dụng khoảng tin đƣợc Bayes để ƣớclƣợngcho  1.3.2.Kiểm định giả thuyết chotrungbình  a Kiể mđinhgia ̣ ̉ thuyế t 1- phíacho   H :   0 Tínhxácsuấthậunghiê ̣mcủagiả thú t khơng:  H1 :    Ta xétbàitoánkiể mđinh: ̣  0 P( H :   0 / y1 , y2 , , yn )   g (  / y1, y2 , , yn ) d   Nế uxácsuấ tnhỏ  , bácbỏ giả thuyếtH0 b Kiể mđinhgia ̣ ̉ thuyế t 2-phía cho  Ta sƣ̉ du ̣ngkhoảng tin dùng Bayes để kiể mđinh ̣ Bayes 2-phía Nế u 0 thuộckhoảng tin đƣ ợc Bayes thì chấ p nhâ ̣ngiả thuyế t , nế ukhơngthì bácbỏ giả thú t CHƯƠNG BÀI TỐN OCCAM’S RAZOR 2.1.Bàitoánoccam’s razor 2.1.1 Khái niệm Nguyên tắc “lƣỡi dao cạo Occam” có vị trí quan trọng giới khoa học William Occam, nhà triết họcAnhthếkỷ 14, đãtuyên bố nguyên tắc mìnhnhƣsau: "Pluralitas non estponenda sine necessitate" Ý tƣởng đƣợc hiểu nhƣ "Đối tƣợng khơng nên đƣợc phức tạp hóa khơng cần thiết" hay "Một lời giải thích kiện khơng nên có q nhiều yếu tố mức cần thiết", "Trong nhiều giả thuyết, ƣu tiên giả thuyết đơn giản nhất"… 2.1.2 Occam’s razor toán Galileo Quy luật Galileo đề xuất, để mô tả chuyển động vật thể quen thuộc với sinh viên vật lý, đƣợc thể nhƣ phƣơng trình bậc hai: s  a  ut  gt 2 Phƣơng trình bậc hai lựa chọn nhà vật lý khắp nơi Họ thích phƣơng trình bậc hai đơn giản hơn, tất đa thức bậc cao phức tạp cách khơng cần thiết 2.2.Occam’s razor mơ hình hồi quy tuyến tính 2.2.1 Định nghĩa mơ hình hồi quy tuyến tính Giảsử E  y | x,  làtuyếntínhtrong x vànhiễulà chuẩn Mơ hình hồi quy tuyến tính chuẩn có dạng : y |  ,  , X  Nn ( X  ,  I n ) Do đó: E  yi |  , X   0  1 x11   k xik , V ( yi |  , X )   2.2.2.Suy luận Bayes cho mơ hình hồi quy tuyến tính Hàm hợp lý mơ hình tuyến tính chuẩn là:   l (  ,  | y, X )  (2 ) exp   ( y  X  )T ( y  X  )   2  2  n a Tiên nghiệm liên hợp Ta ý hàm hợp lý (2.1) thỏa mãn: n    l ( ,  | y, X )  (2 ) exp  ( y  X  )T ( y  X  )  (    )T  X T X  (    )  2  2  Một tiên nghiệm liên hợp đƣợc xây dựng cho mơ hình này: Tiên nghiệm điềukiệntrên  :   |  , X  Nk 1  ,  M 1  Trongđó , M ma trậncấp (k  1, k  1) ma trậnđối xứng xác định dƣơng Tiên nghiệm biênduyêntrên  :  | X  IG(a, b), a, b  ( IG : làphânbốGammarngƣợc) b Tiênnghiệm_GcủaZellner Tiênnghiệm_GcủaZellnerdựa cho  vàmộttiênnghiệmJeffeyscho  :  tiên nghiệm Gauss  1  |  , X  Nk 1  , c  X T X    | X   2 c Tiên nghiệm thiếu thơng tin củaJeffreys TiênnghiệmcủaJeffreyscódạng :    ,  | X   2 d Tiênnghiệm_Gthiếuthông tin củaZellner Ta sửdụngtiênnghiệm_Gvới   0k 1 , phân phối tiên nghiệm c :  (c)  c 11N (c) * 2.2.3.Quyết định Bayes Có nhiều cách để lựa chọn mơ hình, nhiên cách lựa chọn đơn giản mà giải đƣợc vấn đề lựa chọn mơ hình có khả đƣợc ƣa thích Với hàm hợp lý mơ hình hồi quy tuyến tính, việc lựa chọn tiên nghiệm-G thiếu thông tin củaZellnerlàđơngiản nhất, phù hợp việc lựa chọn mơ hình Tiên nghiệm khắc phục nhiều hạn chế tiên nghiệm đƣợc trình bày trên, tính tốn cụ thể hiệu quả, có độ phân tán lớn Đây lời giải tốn Occam’s razor việc lựa chọn mơ hình hồi quy Tài liệu tham khảo [1] Đào Hữu Hồ, Thống kê toán học, NXB ĐH THCN, NXB ĐHQG Hà Nội, (1984) [2] Nguyễn Văn Hữu, Nguyễn Hữu Dƣ Phân tích Thống kê dự báo, NXB ĐHQG Hà Nội, (2003) [3] Nguyễn Xuân Dực, Phương pháp mô Monte Carlo: Giải thuật Gibbs, Khóa luận tốt nghiệp, Trƣờng Đại học Khoa học Tự Nhiên [4] Andrew Gelman, John B Carlin, Hal S Stern and Donald, Bayesian Data analysis [5] Congdon, Bayesian Statistical Modelling, John Wiley, New York, (2001) [6] Dupuis, Bayesian estimation of movement probabilities in open populations using hidden Markov chains, Biometrika, 82(4):761 772, (1995) 78 [7] Green, Reversible jump MCMC computation and Bayesian model determination, Biometrika, 82(4):711 732, (1995) [8] William H Jefferys and James O Berger, Ockham's Razor and Bayesian Analysis [9] William M Bolstad, Introduction to Bayesian statistics [10] Jean- Michel Marin Christian P.Robert, Bayesian core: A practical approach to computational Bayesian statistics ... dùng Bayes để kiể mđinh ̣ Bayes 2-phía Nế u 0 thuộckhoảng tin đƣ ợc Bayes thì chấ p nhâ ̣ngiả thuyế t , nế ukhơngthì bácbỏ giả thú t CHƯƠNG BÀI TỐN OCCAM’S RAZOR 2.1.Bàitoánoccam’s... thống kê Bayes Nếu nhƣ suy luận thống kê cổ điển coi tham số  nhƣ giá trị cố định chƣa biết, thống kê Bayes coi  biến ngẫu nhiên Cơ sở suy luận Bayes định lí Bayes Định lí cho phép xác định xác... BÀI TỐN OCCAM’S RAZOR Trong chƣơng 2, tác giả trình bày mơ hình hồi quy tuyến tính ứng dụng tốn Occam’s razor việc lựa chọn mơ hình (chọn biến), sử dụng thuật tốn lấy mẫu Gibbs CHƢƠNG QUYẾT ĐỊNH