Luận văn thạc sĩ quyết định bayes và bài toán occam’s razor

ĐAI HOC QUOC GIA HÀ N®I TRƯèNG ĐAI HOC KHOA HOC TU NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYEN ĐÚC HÙNG QUYET бNH BAYES VÀ BÀI TỐN OCCAM’S RAZOR LU¾N VĂN THAC SĨ KHOA HOC Hà N®i 2014 ĐAI HOC QUOC GIA HÀ N®I TRƯèNG ĐAI HOC KHOA HOC TU NHIÊN - - - - - - - - - o0o - - - - - - - - - NGUYEN ĐÚC HÙNG QUYET бNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyet xác suat thong kê toán Mã so: 60 46 01 06 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC: TS TR±NH QUOC ANH LèI CAM ƠN Trong suot q trình HQ c t¾p, nghiên cúu hồn thành lu¾n văn này, em nh¾n đưoc sn hưóng dan, giúp đõ quý báu cna thay cô, đong nghi¾p, gia đình ban bè Em xin đưoc bày to lịng kính TRQNG cam ơn sâu sac tói: - Tien sy Tr%nh Quoc Anh – Giang viên B® mơn Xác suat Thong kê, Khoa Tốn – Cơ – Tin HQc, Trưòng Đai HQc Khoa HQc Tn nhiên luụn đng viờn, húng dan v chi bao tắn tỡnh em suot q trình em thnc hi¾n nghiên cúu ve đe tài Nhị sn đ®ng viên chi day t¾n tình cna thay, em co gang vưot qua khó khăn đe hồn thành đe tài nghiên cúu - Các thay Khoa Tốn - Cơ - Tin Khoa HQc trình Tn nhiên tao HQc MQI HQc, Trưịng Đai HQc đieu ki¾n thu¾n loi giúp đõ em t¾p hồn thành đe tài nghiên cúu Nhung kien thúc mà em nh¾n đưoc tù thay cô se hành trang giúp em vung bưóc tương lai - Các đong nghi¾p Khoa Khoa trưòng Đai HQc HQc ban, ban giám hi¾u Cơng ngh¾ Giao thơng v¾n tai giúp đõ tao đieu ki¾n tot nhat đe tác gia hồn thành khóa HQc - Gia đình tồn the ban bè ln quan tâm, đ®ng viên giúp đõ tác gia vưot qua nhung khó khăn, thu thách cuđc song cng nh HQc v hon thnh luắn H Nđi, thỏng 10 nm 2014 HQc viờn Nguyen Đúc Hùng Mnc lnc Cơ sa lý thuyet 1.1 Tőng quan ve thong kê Bayes 1.2 Suy lu¾n Bayes cho bien ngau nhiên ròi rac 1.2.1 Đ%nh lý Bayes cho ty l¾ p cna phân phoi nh% thúc vói tiên nghi¾m rịi rac 1.2.2 Đ%nh lý Bayes cho ty l¾ p cna phân phoi nh% thúc su dung tiên nghi¾m liên tuc .7 1.2.3 Ưóc lưong cho ty l¾ p cna phân phoi nh% thúc 10 1.2.4 Kiem đ%nh gia thiet cho ty l¾ p cna phân phoi nh% thúc 13 1.3 Suy lu¾n Bayes cho bien ngau nhiên liên tuc .17 1.3.1 Đ%nh lý Bayes cho trung bình µ cna phân phoi chuan vói tiên nghi¾m rịi rac .17 1.3.2 Đ%nh lý Bayes cho trung bình µ cna phân phoi chuan vói tiên nghi¾m liên tuc 18 1.3.3 Ưóc lưong cho trung bình µ cna phân phoi chuan .21 1.3.4 Kiem đ%nh gia thuyet cho trung bình µ 23 1.4 Chuoi Markov 25 1.4.1 Quá trình Markov .25 1.4.2 Không gian trang thái ròi rac 26 1.4.3 Phương pháp chuoi Markov Monte Carlo (MCMC) 28 Bài toán Occam’s Razor 30 2.1 Bài toán occam’s razor 30 2.1.1 Khái ni¾m 30 2.1.2 Occam’s razor toán cna Galileo 31 2.2 Occam’s razor mơ hình hoi quy tuyen tính 32 2.2.1 Phu thu®c tuyen tính 32 2.2.2 Mơ hình hoi quy tuyen tính 34 2.2.3 Ưóc lưong cő đien 34 2.2.4 Suy lu¾n Bayes cho mơ hình hoi quy tuyen tính .36 2.2.5 Úng dung cna toán Occam’s razor vi¾c lna cHQN mơ hình hoi quy tuyen tính 49 Quyet đ%nh Bayes mơ hình chuői thài gian 57 3.1 Úng dung cna tốn Occam’s Razor mơ hình log-tuyen tính 57 3.1.1 Bang dn phòng 57 3.1.2 Suy lu¾n theo tiên nghi¾m đeu 60 3.1.3 CHQN mơ hình ý nghĩa cna tham so .61 3.2 Quyet đ%nh Bayes mơ hình chuoi thịi gian 63 3.2.1 Mơ hình tn hoi quy AR .64 3.2.2 Mơ hình trung bình trưot MA .71 3.2.3 Mơ hình ARMA 74 Lài ma đau The giói xung quanh chúa vơ vàn nhung đieu bí an Nhung biet ve the giói cịn nho bé so vói sn hùng vĩ cna Xuat phát tù nhu cau muon tìm hieu, khám phá the giói tn nhiên, hàng loat ngành khoa HQc chun sâu địi, có khoa HQ c thong kê Thong kê (theo nghĩa thong kê toán HQc) khoa HQ c ve phương pháp tőng quát xu lí ket qua thnc nghi¾m Hi¾n nay, the giói có hai trưịng phái suy lu¾n ton tai phát trien song song vói nhau: thong kê tan suat thong kê Bayes Thong kê tan suat (thong kê cő đien) xem tham so m®t giá tr% khơng biet khơng ngau nhiên thong kê Bayes coi tham so bien ngau nhiên Suy lu¾n Bayes the hi¾n cách suy nghĩ phő bien cna tat ca tiep thu kien thúc theo kieu tích lũy Có the dien đat ve thong kê Bayes sau “nhung biet tőng hop nhung biet c®ng vói chúng cú thnc te ” Trong lu¾n văn này, tác gia trình bày tőng quan ve thong kê Bayes, thong kê Bayes mô hình hoi quy tuyen tính mơ hình chuoi thịi gian, úng dung cna nguyên tac "Lưõi dao cao cna Occam" đe giai quyet m®t so tốn thnc te Lu¾n văn gom chương: Chương Cơ so lý thuyet Trong chương 1, tác gia h¾ thong suy lu¾n Bayes cho bien ngau nhiên rịi rac liên tuc, đai di¾n tương úng phân phoi nh% thúc phân phoi chuan, vói tiên nghi¾m rịi rac liên tuc So sánh giua suy lu¾n cna tan suat Bayes Đong thịi giói thi¾u phương pháp MCMC phương pháp thơng dung hi¾u qua đe lay mau cho phân phoi h¾u nghi¾m Chương Bài tốn Occam’s razor Trong chương 2, tác gia trình bày mơ hình hoi quy tuyen tính úng dung cna tốn Occam’s razor vi¾c lna cHQN mơ hình (cHQN bien), su dung thu¾t tốn lay mau Gibbs Chương Quyet đ%nh Bayes mơ hình chuoi thịi gian Trong chương 3, tác gia trình bày úng dung cna tốn Occam’s Ra- zor mơ hình log-tuyen tính su dung thu¾t tốn Metropolis- Hastings đe xap xi hàm hop lý Tác gia trình bày ve Thong kê Bayes mơ hình chuoi thịi gian, nhung ket qua ve ưóc lưong, dn đốn v mđt so thuắt toỏn chay su dung phõn tích so li¾u bang Bayes: Thu¾t tốn nhay ngưoc, thu¾t tốn MetropolisHastings Đong thịi tác gia chi úng dung cna tốn Occam’s razor mơ hình Hà N®i, tháng 10 năm 2014 Chương Cơ sa lý thuyet 1.1 Tong quan ve thong kê Bayes Thong kê Bayes ngày phő bien xây dnng mau thong kê cho van đe thnc te Trong nhung năm gan đây, phương pháp thong kê Bayes đưoc su dung nhieu lĩnh vnc tù khao cő hQc đen tính tốn Suy lu¾n Bayes phương pháp ket hop thơng tin thu th¾p đưoc tù du li¾u thnc nghi¾m vói nhung thơng tin có tù trưóc Vói mơ hình xác suat, y du li¾u thnc te, θ tham so chưa biet, có hai cách hieu ve tham so θ tương úng vói hai trưịng phái suy lu¾n: thong kê tan suat thong kê Bayes Neu suy lu¾n thong kê cő đien coi tham so θ m®t giá tr % co đ%nh chưa biet, thong kê Bayes coi θ bien ngau nhiên (theo nghĩa ta có the đưa ve m®t phân bo xác suat the hi¾n sn chac chan ve giá tr% thnc cna tham so) Đây sn khác bi¾t ban giua hai cách tiep c¾n Có lý đe thong kê Bayes hi¾u qua thong kê cő đien: (1) ket lu¾n Bayes đưoc thiet l¾p có đieu ki¾n (thơng tin tiên nghi¾m) dna mau du li¾u thu th¾p đưoc, (2) vói quan điem Bayes hồn tồn hop lý nói ve xác suat đe ti l¾ rơi vào khoang ưóc lưong (vì tham so bien ngau nhiên) Cơ so cna suy lu¾n Bayes đ%nh lí Bayes Đ%nh lí cho phép xác đ %nh xác suat xay m®t sn ki¾n ngau nhiên biet sn ki¾n liên quan xay Xét tham so bien ngau nhiên X, nh¾n giá tr% x1, x2, , x I, không quan sát đưoc X Bien ngau nhiên Y, phu thu®c vào tham so, vói giánhiên tr% y1X/Y , y2 ,= y bang , yJ ,vi¾c Y quan sátđ%nh đưoc suy Glu¾n ve biencác ngau su dung lý Ta Bayes QI f j phân phoi chúa bien ngau nhiên Y, g phân phoi chúa tham so bien ngau nhiên X Phân phoi đong thòi f (xi, yj) = g(xi)f (yj/xi) Phân phoi Σ Σ biên duyên cna Y n n f (xi/yj) là: i= = g(xi)f (yj/xi) Phân phoi h¾u nghi¾m cna X/Y = yj i= n g(x /y i )= j g(xi)f (yj/xi) ng(xi)f Σ i=1 (yj/xi) Σ /y g(x ) = i j i=1 Phân phoi xác suat tiên nghi¾m g(xi) cna bien ngau nhiên rịi rac X xác suat cna moi xi trưóc ta quan sát thay du li¾u, xuat phát tù kinh nghi¾m, khơng phai tù du li¾u Khi quan sát đưoc Y = yj ta có hàm hop lý f (yj/xi) 1.2 Suy lu¾n Bayes cho bien ngau nhiên rài rac 1.2.1 Đ%nh lý Bayes cho ty l¾ p cua phân phoi nh% thÉc vái tiên nghi¾m rài rac Cho Y ∼ B(n, p), hàm hop lý: f (y/p) =nC y p y (1 − p)n−y, ≤ p ≤ Ví di 1.1 : Y/p ∼ B(4, p) Gia su xem xét giá tr% có the có cho p là: 0,4; 0,5; 0,6 ( gia đ%nh chúng nhau) Bang phân phoi đong thòi, phân phoi biên duyên h¾u nghi¾m cna p/Y = 3: CHQN ngau nhiên nghi¾m thnc ho¾c nghi¾m phúc liên hop Neu cỏc nghiắm l thnc, tao mđt nghiắm phỳc múi tù phân phoi tiên nghi¾m tính nghi¾m liên hop Neu khơng, tao nghi¾m thnc mói tù phân phoi tiên nghi¾m (t) Chap = dung λ.∗ vóigiá xáctr%suat Thay ξnh¾n boiλλ∗ su mói Σ , q∗ , σ (t−1) |x , lc µ(t−1) p:T x Σ∧1 0:p−1 c (t−1) (t−1) l µ ,q , p: , (t−1) σ |x Neu khơng, đ¾t λ(t) = ξ T x0:p− Tao boi mđt e ngh% ngau nhiờn Chap nhắn à(t) = vúi xỏc suat: lc µ∗ ,Σ q(t) , σ (t−1) |xp:T , x Σ∧1 0:p−1 c l µ(t−1), q(t), p: , (t−1) σ |x Neu khụng à(t) = à(t1) T x0:p Chap nhắnra(t) boi = mđt vúibđxỏc Tao esuat: ngh%-log ngau nhiên c (t) l µ Σ, q(t) , σ ∗ |xp:T , 0:p−1 x c l µ(t), q(t), p: , (t−1) σ |x Neu khơng, đ¾t σ(t) = σ(t−1) T x0:p− Σ∧1 Ví di 3.2[10](tiep ): Tro lai vói ví du o trên, xu lý chuoi Ahold Kon cna Eurostoxx50 Chúng ta chay thu¾t tốn cho tồn b® chuoi vói p = vói hnh đng nhay phự hop giua cỏc nghiắm phỳc khỏc Ket qua thu đưoc sau: Hình 3.2[10]: Tóm tat đau MCMC l¾p lai 5000 lan Bieu đo phía bên trái bieu th% vi¾c nhay giua nghi¾m phúc xay vói tan so cao thu¾t tốn nhay ngưoc hon hop tot giua mơ hình Hai đo th% sau hàng đau tiên liên quan đen siêu tham so v , oc cắp nhắt bờn ngoi bưóc nhay ngưoc Tham so µ dưịng đưoc pha tr®n tot so vói σ Các bieu đo o hàng giua tương úng vói h¾ so đau tiên cna mơ hình tn hoi quy, q1, q2, q3 Sn őn đ%nh cna ýgiá rang, ngoai trù qchi h¾ so khác gan Hàng cuoi đánh chúng m®t so tot ve sn h®i tu cna thu¾t tốn nhay ngưoc Cũng lưu ve sn phù hop cna mụ hỡnh v sn hđi tu cna thuắt tốn MCMC Bieu đo đau tiên trình tn cna log-hàm hop lý tương úng, mà van őn đ %nh tù đau, bieu đo thú hai sn phân bo cna nghi¾m phúc bieu đo cuoi liên ket giua chuoi thnc te m®t bưóc đau tiên cna dn đốn E [xt+1|xt, xt−1, ] 3.2.2 Mơ hình trung bình trưat MA M®t dang thú hai cna mơ hình chuoi thịi gian van phu thuđc tuyen tớnh v bieu hiắn dang úng l mụ hỡnh trung bỡnh trot MA(q), nú xuat hiắn nh mđt phiên ban kép cna mơ hình AR(p) M®t q trình MA(1) : (xt)t∈Z có đieu ki¾n q khú (t ∈ T ) cho boi cơng thúc xt = µ + εt − ϑεt−1 Trong (εt)t∈T m®t tieng on trang Do (3.10) E (xt ) = µ, V (xt) = Σ + ϑ2 σ , γx (1) = ϑσ γx (h) = (h > 1) M®t tính chat quan TRQNG cna (3.10) mơ hình khơng phai đ%nh danh cho moi gia nh¾p Th¾t v¾y, có the viet lai xt sau: xt = µ + ε˜t−1 2Σ − ε˜t , ε˜ ∼ N 0, ϑ σ ϑ Vì v¾y, ca hai c¾p (ϑ, σ) ϑ1 , ϑσ đai di¾n tương đương cna mô Σ nhat, không gian tham so cna q trình hình Đe đat đưoc tính đong M A(1) b% han che boi |ϑ| < Quá trình đưoc GQI ngh%ch đao Cũng tính nhân qua, tớnh ngh%ch ao khụng l mđt ắc tớnh cna trình nhat (xt )t∈Z mà cna liên ket giua hai trình (xt)t∈T (εt)t∈T Tőng qt cna mơ hình MA(1) đe tăng sn phu thu®c vào q khú mơ hình MA(q) xác đ%nh boi t ∈ T q xt = µ + εΣ ϑiεt−i t (3.11) i=1 Trong (εt)t∈T tieng on trang Đieu ki¾n “đong nhat” tương úng mơ hình tat ca nghi¾m cna đa thúc q Q (u) = Σ − ϑiui, i=1 Đeu nam bên hỡnh trũn n v% mắt phang phỳc Mđt khỏc bi¾t lón giua mơ hình MA(q) AR(p) cau trúc cna quan sát x1:Tkhơng m®tlà bien chuan ngau nhiênhop thnc, vói hang bình MA(q) Markov Trong trưịng Gauss, tonso bđtrung cỏc vộc t v ma trắn hiắp phương sai Do đó, cung cap m®t hàm hop lý rõ Σ ràng Tuy nhiên, vi¾c tính tốn hàm hop lý ton Σ liên quan đen ma tr¾n ngh%ch đao cna (khá lún) Mđt bieu hiắn khỏc cna hm hop lý MA(q) su dung hàm hop lý cna x1:T có đieu ki¾n tieng on trang ε0, , ε−q+1 : T Y t =1 exp j =1  Σ   xt − µ + lc (µ, ϑ1, , ϑq, σ|x1:T , ε0, ,    ϑj   ε^t   −j q /2σ2 ε−q+1) ∝ σ−T Trong đó: (t > 0) :  (3.12) q εt = xt µ +Σ ϑjεt j ^ j= ^− ε^0 = ε0 , , ε^1−q = ε1−q − Đ%nh nghĩa đ¾ quy cna hàm hop lý van ton liên quan ki¾n (ε0sn , , ε−q+1T ) cna phaiq đưoc xu Tuy lý riêng mđt MCMC, en tng so hang nhiờn,thụng mắc qua dự van đe bưóc xu lý giá tr% đieu phúc tap cna bieu hi¾n de quan lý so vói bieu hi¾n xác chuan o Chú ý rang, có đieu ki¾n cna Vói (ε0,ca , cho ca hai x1:T tham phân so phoi m®t phân phoi chuan haiε−q+1 x1:T )và tieng on khú (ε0, , ε−q+1) , phân phoi có đieu ki¾n cna tham so (µ, ϑ1, , ϑq, σ) rat gan vúi hắu nghiắm ket hop vúi mđt phõn phoi h¾u nghi¾m AR(q) Vì the, có the tái xu dung thu¾t tốn (3.2) Tieng on q khú (ϑ Trong phân 1, q) xác: ε−i , (i = 1, ϑ , q) đưoc mô phong xt, trênphoi tham so µ, σ ϑ = f (ε |x , µ, σ, , ϑ)1:∝ 0., ε −q+ T Y i=−q+ T i2 e−ε /2σ Y t= t e−εˆ /2σ (3.13) Trong εˆt đ%nh nghĩa o trên, m®t phân phoi chuan véc tơ (ε0, , ε−q+1) Tính tốn cna q ton cho bien vói giá tr% thnc cna T Do đó, se su dung mđt thuắt toỏn hon hop Gibbs o tiengho¾c on bien mat ε= 0, , ε−q+1) đưoc mơ phong tù m®t đeđóngh% dna giá(εtr% mơ phong trưóc cna (ε0, , ε−q+1) ho¾c dna phân phoi có đieu ki¾n cna (ε0, , ε−q+1 ) tham so m®t phân phoi chuan Khoi tao: Ctốn HQN λ(0) , ε(0) , µ(0) σ (0) tùy ý Thu¾t 3.3[10]: Nhay ngưoc M A(q) L¾p l¾p lai t(t ≥ 1) : Chay bưóc tù đen cna thu¾t tốn (3.2) vói đieu ki¾n ε(t−1) vói hàm hop lý có đieu ki¾n xác tương úng Mơ phong ε(t) boi m®t bưóc Metropolis-Hasting Ví di 3.2[10] (tiep): Chúng ta xem xét 350 điem đau tiên cna chuoi Air Liquide Eurostoxx50 Ket qua đai di¾n cho q = 10000 lan l¾p lai thu¾t tốn (3.3), vói ưóc lưong sau: Hình 3.3[10] đ®ng tù cùng: đen 8); bieu o trái giua phai chuoi cna phúc µ và(dao σ2 Hàng bieu đođo bên trình tn cna nghi¾m Hàng giua trình tn ưóc lưong cna ϑi (i = 1, 2, 3) Hàng dưói : bieu đo bên trái trình tn hàm hop lý đưoc quan sát; bieu đo o giua bieu hi¾n cna đám mây cna nghi¾m phúc vói ranh giói cna hình trịn đơn v%; bieu đo bên phai phát trien cna mô phong ε−t 3.2.3 Mơ hình ARMA Mo r®ng cna hai mơ hình trưóc mơ hình ARMA(p, q), xt (t ∈ Z) đưoc xác đ%nh boi: xt = µ p q Σ i= − j= ε1t − qi (xt−i − µ) + Σ Σ ϑj εt−j , εt ∼ N 0, σ (3.14) Trong εt l đc lắp Cho phng trỡnh quan sỏt: xt = µ − (ϑr−1ϑr−2 ϑ1 − 1) yt,    0 0    y +ε   yt+1 = t (3.15)   t+1  1  qr      0 q r− qr−2 q1  Vói r = max(p, q + 1) quy ưóc qm = neu m >p ϑm = neu m>q Tương tn trưịng hop MA(q), đai di¾n khơng gian trang thái ti¾n dung vi¾c đưa cỏc thuắt toỏn MCMC hđi tu en phõn phoi hắu nghi¾m cna tham so cna mơ hình Neu đ%nh nghĩa (t>p) ˜ p Σ xt = xt − µ + qi (xt−i − µ), x˜t , i= Σ lý giong hàm hop lý tiêu chuan MA(q) ε˜tHàmϑhop = − jε t j , log-hàm hop lý đieu ki¾n x0:(p 1) là: khơi j=1 phuc cna hàm hop lý AR(p) nhieu Neu đ%nh nghĩa so dư q xt − −Σt=p −µ− T Σj=1 p − µ] − ε˜t  t−j  υ [xj /2σ2 Rõ ràng m®t log-hàm hop lý AR(p) dang đóng, ngoai trù˜εt Ket lu¾n: Trên đây, thay vai trò cna thong kê Bayes vi¾c xu lý mơ hình chuoi thịi gian AR, MA, ARMA Các mơ hình có điem chung su dung hàm tiên nghi¾m thieu thơng tin chi khác o hàm hop lý Các hàm hop lý liên ket vói giá tr% quan sát Ta xem xét phương pháp cHQN hàm hop lý cna mơ hình AR(p) dna giá tr% quan sát: xemvào xét hàmgiá hop liên ket vóisát cácđưoc giá tr% x0:TĐau , tiên phu thu®c tr%lýkhơng quan x−p,quan , xsát −1 Tuy nhiên vi¾c tính tốn hàm hop lý ton liên quan tói tích phân (khá lón) phu thu®c vàoxét cáchàm giá hop tr% quan 0, , xp−1 Sauxp:T ,tanó Thú hai xem lý liênsát ketban vói đau x giá tr% quan sát đưoc có the áp dung thu¾t tốn nhay ngưoc ket hop vói thu¾t tốn MetropolisHastings xap xi hàm hop lý đe ưóc lưong h¾ so cna mơ hình chuoi thịi gian Đoi vói mơ hình khác, vi¾c cHQN hàm hop lý giong mơ hình AR(p) Phương pháp xem xét hàm hop lý liên ket vói giá tr% quan sát đưoc phu thu®c vào giá tr% quan sát ban đau đơn gian hơn, rõ ràng van giai quyet đưoc vi¾c ưóc lưong cỏc hắ so cna cỏc mụ hỡnh mđt cỏch hiắu qua Đây lịi giai cna tốn Occam’s razor vi¾c lna cHQN phương pháp xu lý mơ hình chuoi thịi gian Ket lu¾n Lu¾n văn trình bày tőng quan ve thong kê Bayes, so sánh giua thong kê tan suat Bayes m®t so trưòng hop Thong kê tan suat xem tham so m®t giá tr% khơng biet khơng ngau nhiên thong kê Bayes coi tham so bien ngau nhiên tn theo m®t phân phoi đó, tham so lai phu thu®c vào tham so khác GQI siêu tham so (hyperparameters) Trong lu¾n văn trình bày suy lu¾n Bayes ưóc lưong, kiem đ%nh, dn đốn vói trưịng hop cna tiên nghi¾m chúa thơng tin tiên nghi¾m thieu thơng tin dna vào phân phoi h¾u nghi¾m, đong thịi so sánh vói tan suat Lu¾n văn trình bày úng dung cna Occam’s razor đe giai quyet m®t so tốn thnc te: cHQN bien mơ hình hoi quy tuyen tính, tốn cna Galileo, phân tích mơ hình chuoi thịi gian Tù mơ hình hoi quy tuyen tính tói mơ hình chuoi thịi gian, nhị thong kê Bayes, đeu có ket qua suy lu¾n tot cho mau du li¾u thnc te, đưoc c¾p nh¾t liên tuc có đưoc phân phoi dùng Tuy nhiên, có m®t so han che cna suy lu¾n Bayes vi¾c tính tốn: tính tích phân, kích thưóc mau lón Trong lu¾n văn trình bày phương pháp MCMC đe giai quyet han che Cuoi tác gia mong muon tiep tuc sâu nghiên cúu ve thong kê Bayes, đe có đưoc hieu biet sâu sac hơn, đay đn ve phương pháp Tác gia hy vQNG tương lai có the áp dung đưoc suy lu¾n Bayes vo thnc tien cuđc song Ti liắu tham khao [1] Đào Huu Ho, Thong kê toán HQc, NXB ĐH THCN, NXB ĐHQG Hà N®i, (1984) [2] Nguyen Văn Huu, Nguyen Huu Dư Phân tích thong kê dn báo, NXB ĐHQG Hà N®i, (2003) [3] Nguyen Xuân Dnc, Phương pháp mơ phóng Monte Carlo: Giai thu¾t Gibbs, Khóa lu¾n tot nghi¾p, Trưịng Đai HQc Khoa HQc Tn nhiên [4] Andrew Gelman, John B Carlin, Hal S Stern and Donald, Bayesian Data analysis [5] Congdon, Bayesian Statistical Modelling, John Wiley, New York, (2001) [6] Dupuis, Bayesian estimation of movement probabilities in open populations using hidden Markov chains, Biometrika, 82(4):761–772, (1995) [7] Green, Reversible jump MCMC computation and Bayesian model determination, Biometrika, 82(4):711–732, (1995) [8] William H Jefferys and James O Berger, Ockham’s Razor and Bayesian Analysis [9] [10] William M Bolstad, Introduction to Bayesian statistics Jean- Michel Marin Christian P.Robert, Bayesian core: A practical approach to computational Bayesian statistics ... Monte Carlo (MCMC) 28 Bài toán Occam’s Razor 30 2.1 Bài toán occam’s razor 30 2.1.1 Khái ni¾m 30 2.1.2 Occam’s razor toán cna Galileo 31 2.2 Occam’s razor mơ hình hoi quy... - - - - - - - NGUYEN ĐÚC HÙNG QUYET бNH BAYES VÀ BÀI TOÁN OCCAM’S RAZOR Chuyên ngành: Lý thuyet xác suat thong kê tốn Mã so: 60 46 01 06 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC: TS... quyet van e này, đ¾c bi¾t vói sn tro giúp cna máy tính đi¾n tu Chương Bài tốn Occam’s Razor 2.1 2.1.1 Bài tốn occam’s razor Khái ni¾m Ngun tac “Lưõi dao cao cna Occam” có m®t v% trí quan TRQNG