Quyết định bayes và bài toán occam’s razor

I HC QUăC GIA H NáI TRìNG I HC KHOA H¯C TÜ NHI N - - - - - - - - o0o - - - - - - - - - NGUY N ÙC HÒNG QUY T ÀNH BAYES V B I TO N OCCAM’S RAZOR LU NV NTH CS KHOAHC H Ni - 2014 I HC QUăC GIA H NáI TRìNG I HC KHOA HC Tĩ NHI N - - - - - - - - o0o - - - - - - - - - NGUY N ÙC HÒNG QUY T ÀNH BAYES V B I TO N OCCAMS RAZOR Chuyản ng nh: Lỵ thuyt xĂc suĐt v thng kả toĂn M s: 60 46 01 06 LU NV NTH CS KHOAH¯C NG×˝I HײNG D N KHOA HC: TS TRNH QUăC ANH H Ni - 2014 LIC MÌN Trong suŁt qu¡ tr…nh håc t“p, nghi¶n cøu v ho n th nh lun vôn n y, em  nhn ữổc sỹ hữợng dÔn, giúp ù quỵ bĂu ca cĂc thy cổ, ỗng nghiằp, gia nh v bn b Em xin ữổc b y tọ lặng knh trồng v cÊm ỡn sƠu sc tợi: Tin s Trnh Quc Anh GiÊng viản B mổn XĂc suĐt Thng kả, Khoa ToĂn Cỡ Tin hồc, Trữớng i hồc Khoa hồc Tỹ nhiản  luổn ng viản, hữợng dÔn v ch bÊo tn t…nh em suŁt qu¡ tr…nh em thüc hi»n nghi¶n cøu v• • t i n y Nhí sü ºng viản v ch dy tn tnh ca thy, em  c gng vữổt qua khõ khôn ho n th nh ã t i nghiản cứu n - y CĂc thƒy cỉ Khoa To¡n - Cì - Tin håc, Trữớng i hồc Khoa hồc Tỹ nhiản  to mồi i•u ki»n thu“n lỉi gióp ï em qu¡ tr…nh håc t“p v ho n th nh • t i nghi¶n cøu n y Nhœng ki‚n thøc m em nh“n ÷æc tł c¡c thƒy cæ s‡ l h nh trang giúp em vng bữợc tữỡng lai - CĂc ỗng nghi»p Khoa Khoa håc cì b£n, ban gi¡m hi»u trữớng i hồc Cổng nghằ Giao thổng tÊi  giúp ù v to iãu kiằn tt nhĐt tĂc gi£ ho n th nh khâa håc - Gia …nh v to n th bn b  luổn quan tƠm, ng viản v giúp ù tĂc giÊ vữổt qua nhng khõ khôn, thò thĂch cuc sng cụng nhữ håc t“p v ho n th nh lu“n v«n H Ni, thĂng 10 nôm 2014 Hồc viản Nguyn ức Hũng Mửc lửc Cỡ s lỵ thuyt 1.1 Tng quan vã thng kả Bayes 1.2 Suy lun Bayes cho bin ngÔu n 1.2.1 1.2.2 1.2.3 1.2.4 1.3 Suy lun Bayes cho bin ngÔu n 1.3.1 1.3.2 1.3.3 1.3.4 1.4 Chuỉi Markov 1.4.1 1.4.2 1.4.3 B i to¡n Occam’s Razor 2.1 B i to¡n occam’s razor 2.1.1 2.1.2 2.2 Occam’s razor mæ h…nh 2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 Quy‚t ành Bayes mỉ h…nh chi thíi gian 3.1 Ùng döng cıa b i to¡n Occam’s t‰nh 3.1.1 3.1.2 3.1.3 3.2 Quy‚t ành Bayes mæ h… 3.2.1 3.2.2 3.2.3 Líi mð ƒu Th‚ giỵi xung quanh chóng ta chøa vỉ v n nhœng i•u b‰ 'n Nhng g bit vã th giợi n y cặn khĂ nhọ b so vợi sỹ hũng vắ ca nâ Xu§t ph¡t tł nhu cƒu muŁn t…m hi”u, kh¡m phĂ th giợi tỹ nhiản, h ng lot cĂc ng nh khoa hồc chuyản sƠu ới, õ cõ khoa hồc thng kả Thng kả (theo nghắa thng kả toĂn hồc) l khoa hồc vã cĂc phữỡng phĂp tng qu¡t xß l‰ c¡c k‚t qu£ thüc nghi»m Hi»n nay, trản th giợi cõ hai trữớng phĂi suy lun tỗn ti v phĂt trin song song vợi nhau: thng kả tn suĐt v thng kả Bayes Thng kả tn suĐt (thng kả c in) xem tham s l mt giĂ tr khổng bit khổng ngÔu nhiản thng kả Bayes coi tham s l bin ngÔu nhiản Suy lu“n Bayes th” hi»n c¡ch suy ngh¾ phŒ bi‚n cıa t§t c£ chóng ta l chóng ta ti‚p thu ki‚n thøc theo ki”u t‰ch lôy Câ th” di„n ⁄t vã thng kả Bayes nhữ sau nhng g bi‚t l tŒng hỉp nhœng g… chóng ta ¢ bi‚t cng vợi chứng thỹc t Trong lun vôn n y, t¡c gi£ tr…nh b y tŒng quan v• thŁng k¶ Bayes, thŁng k¶ Bayes c¡c mỉ h…nh hỗi quy tuyn tnh v mổ hnh chuỉi thới gian, ứng dửng ca nguyản tc "Lữùi dao co ca Occam" ” gi£i quy‚t mºt sŁ b i to¡n thüc t Lun vôn gỗm chữỡng: Chữỡng Cỡ s lỵ thuyt Trong chữỡng 1, tĂc giÊ hằ thng cĂc suy lun Bayes cho cĂc bin ngÔu nhiản rới rc v liản tửc, i diằn tữỡng ứng l phƠn phi nh thức v phƠn phi chu'n, vợi cĂc tiản nghi»m ríi r⁄c v li¶n tưc So s¡nh giœa suy lun ca tn suĐt v Bayes ỗng thới giợi thiằu ph÷ìng ph¡p MCMC l ph÷ìng ph¡p thỉng dưng v hi»u quÊ lĐy mÔu cho phƠn phi hu nghiằm Chữỡng B i to¡n Occam’s razor Trong ch÷ìng 2, t¡c giÊ trnh b y mổ hnh hỗi quy tuyn tnh v øng döng cıa b i to¡n Occam’s razor vi»c lüa chån mỉ h…nh (chån bi‚n), â sß dửng thut toĂn lĐy mÔu Gibbs Chữỡng Quyt nh Bayes mỉ h…nh chi thíi gian Trong ch÷ìng 3, t¡c gi£ tr…nh b y øng döng cıa b i to¡n Occam’s Razor mæ h…nh log-tuy‚n t‰nh â sò dửng thut toĂn MetropolisHastings xĐp x h m hổp lỵ TĂc giÊ cụng trnh b y vã Thng k¶ Bayes mỉ h…nh chi thíi gian, nhœng k‚t quÊ vã ữợc lữổng, dỹ oĂn v mt s thut toĂn chy sò dửng phƠn tch s liằu bng Bayes: Thut toĂn nhÊy ngữổc, thut toĂn Metropolis-Hastings ỗng thới t¡c gi£ cơng ch¿ øng dưng cıa b i to¡n Occam’s razor mæ h…nh n y H Nºi, thĂng 10 nôm 2014 Chữỡng Cỡ s lỵ thuyt 1.1 Tng quan vã thng kả Bayes Thng kả Bayes ng y c ng phŒ bi‚n x¥y düng cĂc mÔu thng kả cho cĂc vĐn ã thỹc t Trong nhng nôm gn Ơy, phữỡng phĂp thng kả Bayes ang ữổc sò dửng nhiãu hỡn cĂc lắnh vüc tł kh£o cŒ håc ‚n t‰nh to¡n Suy lu“n Bayes l ph÷ìng ph¡p k‚t hỉp thỉng tin thu th“p ÷ỉc tł dœ li»u thüc nghi»m vỵi nhœng thỉng tin cõ t trữợc õ Vợi mổ hnh xĂc suĐt, â y l dœ li»u thüc t‚, l tham sŁ chữa bit, cõ hai cĂch hiu vã tham s tữỡng ứng vợi hai trữớng phĂi suy lun: thng kả tn suĐt v thng kả Bayes Nu nhữ suy lun thng kả c in coi tham s nhữ l mt giĂ tr c nh chữa bit, th thng kả Bayes coi l bin ngÔu nhiản (theo nghắa l ta cõ th ữa nõ vã mt phƠn b xĂc suĐt th hiằn sü ch›c ch›n v• gi¡ trà thüc cıa tham sŁ) ¥y ch‰nh l sü kh¡c bi»t cì b£n giœa hai cĂch tip cn Cõ lỵ thng kả Bayes hi»u qu£ hìn thŁng k¶ cŒ i”n: (1) l cĂc kt lun Bayes ữổc thit lp cõ iãu kiằn (thổng tin tiản nghiằm) dỹa trản mÔu d liằu thu thp ữổc, (2) l vợi quan im Bayes ho n to n hổp lỵ nõi vã xĂc suĐt t lằ rỡi v o khoÊng ữợc lữổng (v tham s l bin ngÔu nhiản) Cỡ s ca suy lu“n Bayes l ành l‰ Bayes ành l‰ cho ph†p xĂc nh xĂc suĐt xÊy mt sỹ kiằn ngÔu nhi¶n bi‚t sü ki»n li¶n quan x£y X†t tham s l bin ngÔu nhiản X; nhn cĂc giĂ trà x1; x2; : : : ; xI , khæng quan sĂt ữổc X: Bin ngÔu nhiản Y; phử thuc v o c¡c tham sŁ, vỵi c¡c gi¡ trà y1; y2; : : : ; yJ ; Y quan s¡t ữổc Ta suy lun vã bin ngÔu nhiản X=Y = yj bng viằc sò dửng nh lỵ Bayes Gồi f l phƠn phi chứa bin ngÔu nhiản Y; g l phƠn phi chứa tham s bin ngÔu nhiản X: PhƠn phi ỗng thới l f(xi; yj) = g(xi)f(yj=xi): PhƠn phi bi¶n duy¶n cıa Y P n i=1 P n l f(xi=yj) = g(xi)f(yj=xi) Ph¥n phŁi h“u nghi»m cıa X=Y = yj i=1 l: PhƠn phi xĂc suĐt tiản nghiằm g(xi) ca bin ngÔu nhiản rới rc X l xĂc suĐt ca mỉi xi trữợc ta quan sĂt thĐy d li»u, nâ xu§t ph¡t tł kinh nghi»m, khỉng ph£i tł dœ li»u Khi quan s¡t ÷ỉc Y = y j ta cõ h m hổp lỵ f(yj=xi): 1.2 Suy lun Bayes cho bin ngÔu nhiản rới rc 1.2.1 nh lỵ Bayes cho t l» p cıa ph¥n phŁi nhà thøc vợi tiản nghiằm rới rc y y Cho Y B(n; p); h m hổp lỵ: f(y=p) = C n p (1 p) ny ; p 1: V‰ dö 1.1: Y =p B(4; p): Gi£ sß xem x†t gi¡ trà câ th” câ cho p l : 0,4; 0,5; 0,6 ( giÊ nh chúng nhữ nhau) BÊng phƠn phi ỗng thới, phƠn phi biản duyản v hu nghiằm ca p=Y = 3: thổng tin truyãn thng hỡn nhữ l g ( ) = : N‚u chóng ta Ăp t cĂc hn ch vã tnh dng nhƠn quÊ trản % m tĐt cÊ nghiằm ca a thức P (3.7) l ngo i hnh trặn ỡn v Mt b s ca % chĐp nhn ữổc tr nản kh¡ phư thuºc v chóng ta khỉng th” sß dưng cho phƠn phi tiản nghiằm mt phƠn phi giợi hn chu'n, bði v… ta thi‚u mºt thu“t to¡n ìn gi£n ” mỉ t£ óng quy ành Mºt gi£i ph¡p kh£ thi ữổc ữa dỹa trản mi tữỡng quan tỹ ºng cıa qu¡ tr…nh AR(p): Chóng ta câ mºt c¡ch ti‚p c“n kh¡c v b‹ng c¡ch n o â, tham sŁ trð l⁄i ìn gi£n b‹ng c¡ch sß dưng nghàch £o cıa c¡c nghi»m thüc v phøc cıa a thøc P; m kho£ng ( 1; 1) v h…nh cƒu t÷ìng øng N‚u ta ⁄i di»n cho a thøc (3.7) dng nhƠn tò hõa ca nõ: p Y Px = (1 ix); i=1 â c¡c nghi»m nghàch £o i(i = 1; 2; :::; p) câ gi¡ trà thüc hoc phức Dữợi sỹ hn ch ca tnh dng nhƠn quÊ, mt tiản nghiằm tỹ nhiản sau õ l sò dửng tiản nghiằm thng nhĐt cho cĂc nghiằm n y, lĐy mt phƠn phi ãu vã s lữổng rp ca cĂc nghiằm phức liản hổp v phƠn phi ãu trản [ 1; 1] v tr¶n h…nh cƒu ìn = f C; j j 1g cho nghi»m thüc v phức khổng liản hổp tữỡng ứng Nõi cĂch khĂc g()= Trong â, bp=2c + l sŁ c¡c gi¡ trà khĂc ca r p: Chú ỵ, yu t bp=2c + 1; khæng quan trång cho mºt thi‚t l“p p cŁ ành, nâ cƒn thi‚t ph£i ÷ỉc bao gỗm phƠn phi hu nghiằm sò dửng mt thut toĂn nhÊy ngữổc ữợc lữổng tr bc p v… nâ khỉng bi‚n m§t vi»c ch§p nh“n x¡c su§t cıa mºt di chuy”n giœa mỉ h…nh AR(p) v mổ hnh AR(q): Chú ỵ rng cĂc hằ s ca a thức P cõ th 67 ữổc bt nguỗn tł c¡c nghi»m nghàch £o i sß dưng c¡c mŁi quan h» l°p (i = 1; :::; p; j = 0; :::; p) Trong â i =1 v i =1; j i = j i i j i 1; = ; 8j > i v cho: % = j i p (j = 1; :::; p) : j sò dửng chnh phƠn phi tiản nghi»m düa tr¶n nghi»m nghàch £o cıa P: ƒu ti¶n, ta chån mºt ho°c mºt sŁ nghi»m cıa P v sau õ ã xuĐt giĂ tr mợi cho cĂc nghiằm õ m ữổc mổ phọng t tiản nghiằm T lằ ch§p nh“n ìn gi£n hâa t l» h m hổp lỵ bi sỹ rê r ng ca nh lỵ Bayes Khõ khôn Ơy chnh l phÊi ỵ ” thay Œi nghi»m phøc b‹ng c¡c c°p li¶n hỉp giÊi quyt vĐn ã n y, sò dửng mt thut toĂn nhÊy ngữổc m phƠn biằt gia sŁ l÷ỉng cıa nghi»m phøc N‚u ta xem x†t h m hổp lỵ cõ iãu kiằn (3.9), mt thut toĂn nhÊy ngữổc cho mổ hnh AR(p) v tiản nghiằm thi‚u thỉng tin g ( ; ) = l nh÷ sau: Thu“t to¡n 3.2[10]: Khði t⁄o AR(p) Khði t⁄o: Chån L°p i l°p l⁄i t(t (0) ; (0) v 1) : Chồn ngÔu nhiản mt nghiằm Nu nghiằm n y l thüc, t⁄o mºt nghi»m thüc mỵi t mt phƠn phi tiản nghiằm Nu khổng, to mt nghiằm phức mợi t phƠn phi tiản nghiằm v cp nht nghiằm liản hổp Thay (t 1) bi sò dửng giĂ tr mợi õ T nh toĂn tữỡng ứng % = %1; :::; %p Chồn = vợi xĂc suĐt: c l c l N‚u khæng chån = (t 1) (t 1) (t 1) ;%; ;% (t 1) ; jxp:T ; x0:p (t 1) (t 1) 68 jxp:T ; x0:p ^1 Chồn ngÔu nhiản nghiằm thỹc ho°c nghi»m phøc li¶n hỉp N‚u c¡c nghi»m l thỹc, to mt nghiằm phức mợi t phƠn phi ti¶n nghi»m v t‰nh nghi»m li¶n hỉp N‚u khỉng, t⁄o nghiằm thỹc mợi t phƠn phi tiản nghiằm Thay bi sò dửng giĂ tr mợi õ ChĐp nhn (t) = vợi xĂc suĐt c (t 1) l c (t 1) l N‚u khỉng, °t T⁄o su§t: (t) ;% (t 1) ; jxp:T ; x0:p (t 1) ^1 jxp:T ; x0:p = bði mºt • ngh ngÔu nhiản ChĐp nhn l c (t) c (t 1) ( t) (t 1) ;% ; l N‚u khæng °t (t 1) ;%; = jxp:T ; x0:p (t) ;% ; (t 1) (t) = vỵi x¡c ^1 jxp:T ; x0:p (t 1) T⁄o bði mºt b ã ngh-log ngÔu nhiản ChĐp nhn (t) = vợi x¡c su§t: c (t ) l c (t ) l N‚u khæng, °t ( t) = (t) ; % ; jxp:T ; x0:p (t) ;% ; (t 1) ^1 jxp:T ; x0:p (t 1) V‰ dö 3.2[10](ti‚p ): Tr li vợi v dử trản, xò lỵ chuỉi Ahold Kon ca Eurostoxx50 Chúng ta chy thut to¡n cho to n bº chi vỵi p = vỵi h nh ºng nh£y phị hỉp giœa c¡c nghi»m phøc kh¡c K‚t qu£ thu ÷ỉc nh÷ sau: H…nh 3.2[10]: Tâm t›t ƒu MCMC l°p l⁄i 5000 lƒn 69 Biu ỗ pha trản trĂi biu th vi»c nh£y giœa c¡c nghi»m phøc v x£y vỵi tƒn sŁ cao v â thu“t to¡n nh£y ng÷ỉc hØn hỉp l tŁt giœa mỉ h…nh Hai ỗ th sau trản h ng u tiản liản quan n cĂc siảu tham s v ; ữổc cp nht ngo i bữợc nhÊy ngữổc Tham s dữớng nhữ ữổc pha trn tt hỡn so vợi : CĂc biu ỗ h ng gia tữỡng ứng vợi hằ s u tiản ca mổ hnh tỹ hỗi quy, %1; %2; %3: Sü Œn ành cıa chóng l mºt ch¿ sŁ tŁt v• sü hºi tư cıa thu“t to¡n nhÊy ngữổc Cụng lữu ỵ rng, ngoi tr %1 cĂc h» sŁ kh¡c l gƒn H ng cuŁi còng l ¡nh gi¡ v• sü phị hỉp cıa mỉ h…nh v sỹ hi tử ca thut toĂn MCMC Biu ỗ ƒu ti¶n l tr…nh tü cıa c¡c log-h m hỉp lỵ tữỡng ứng, m vÔn n nh t u, biu ç thø hai l sü ph¥n bŁ cıa c¡c nghi»m phức v biu ỗ cui l liản kt gia chuỉi thỹc t v mt bữợc u tiản ca nõ dü o¡n E [xt+1jxt; xt 1; :::] : 70 3.2.2 Mỉ h…nh trung b…nh tr÷ỉt MA Mºt d⁄ng thø hai ca mổ hnh chuỉi thới gian vÔn phử thuc tuyn t ‰nh v bi”u hi»n d⁄ng âng l mæ h…nh trung bnh trữổt M A(q); nõ xuĐt hiằn nhữ mt phi¶n b£n k†p cıa mỉ h…nh AR(p): Mºt qu¡ tr…nh M A(1) : (xt)t2Z cõ iãu kiằn trản quĂ khứ (t T ) cho bði cæng thøc xt = + "t #"t (3.10) Trong â ("t)t2T l mºt ting ỗn trng Do E (xt) = ; V (xt) = + # 2 â ; x (1) = # v x (h) = (h > 1) : Mºt t‰nh ch§t quan trång cıa (3.10) l mæ h…nh khæng ph£i ành danh cho mØi gia nh“p Th“t v“y, chóng ta câ th” vi‚t l⁄i x t nh÷ sau: x = +" t t e V… v“y, c£ hai c°p (#; ) v h…nh tr¶n ” t ữổc tnh ỗng nhĐt, khổng gian tham s ca qu¡ tr… nh M A(1) bà h⁄n ch‚ bði j#j < 1: Qu¡ tr…nh n y ÷ỉc gåi l nghàch Êo Cụng nhữ tnh nhƠn quÊ, tnh nghch Êo khổng l mºt °c t‰nh cıa qu¡ tr…nh nh§t (xt)t2Z m l cıa li¶n k‚t giœa hai qu¡ tr…nh (xt)t2T v ("t)t2T : TŒng qu¡t cıa mæ h…nh M A(1) ” t«ng sü phư thuºc v o qu¡ khø l mæ h…nh M A(q) x¡c ành bði t T q (3.11) X i xt = + "t =1 Trong õ ("t)t2T l ting ỗn trng iãu kiằn ỗng nhĐt t§t c£ mỉ h…nh n y l nghi»m cıa a thøc X q i Q (u) = #iu ; i=1 71 tữỡng ứng ãu nm ngo i h…nh trỈn ìn m°t phflng phøc Mºt kh¡c bi»t lỵn giœa mỉ h…nh M A(q) v AR(p) l cĐu trúc ca M A(q) khổng l Markov Trong trữớng hỉp Gauss, to n bº c¡c v†c tì quan s¡t x1:T l mt bin chu'n ngÔu nhiản thỹc, vợi hng sŁ trung b…nh P v ma tr“n hi»p ph÷ìng sai : Do â, nâ cung c§p mºt h m hỉp lỵ rê r ng Tuy nhiản, viằc tnh toĂn h m hổp lỵ n y l khĂ tn km v nâ li¶n quan ‚n ma tr“n nghàch £o cıa Mºt bi”u hi»n kh¡c cıa h m x1:T câ i•u ki»n trản ting ỗn trng "0; :::; " c l ( ; #1; :::; #q; j Trong â: (t > 0) : "t = xt ành ngh¾a » quy n y ca h m hổp lỵ l vÔn tn km v nâ li¶n quan ‚n tŒng T cıa q sŁ h⁄ng Tuy nhiản, mc dũ vĐn ã xò lỵ cĂc giĂ tr iãu kiằn ("0; :::; " q+1) phÊi ữổc xò lỵ riảng thổng qua mt bữợc MCMC, sỹ phức ca biu hiằn n y l d quÊn lỵ hỡn so vợi biu hiằn chnh xĂc chu'n trản Chú ỵ rng, phƠn phi cõ iãu kiằn ca ("0; :::; " q+1) cho c£ hai x1:T v c¡c tham sŁ l mt phƠn phi chu'n Vợi cÊ hai x1:T v ting ỗn quĂ khứ ("0; :::; " q+1) ; phƠn phŁi câ i•u ki»n cıa c¡c tham sŁ ( ; #1; :::; #q; ) l rĐt gn vợi hu nghiằm kt hổp vợi mt phƠn phi hu nghiằm AR(q): V th‚, chóng ta câ th” t¡i xß dưng thu“t to¡n (3.2) Ting ỗn quĂ khứ " i (i = 1; :::; q) l ữổc mổ phọng trản xt; trản cĂc tham sŁ ; v # = (#1; :::; #q) : Trong ph¥n phŁi ch‰nh x¡c: f ("0; :::; " q+1jx1:T ; ; ; #) / Trong â "^t nh nghắa nhữ trản, l 72 tỡ ("0; :::; " q+1) : T‰nh to¡n cıa nâ l qu¡ tŁn k†m cho c¡c bi‚n vỵi gi¡ trà thüc cıa T: Do â, chóng ta s‡ sß dưng mºt thu“t to¡n hỉn hổp Gibbs õ ting ỗn bin mĐt " = (" 0; :::; " q+1) l ÷ỉc mỉ phäng t mt ã ngh hoc dỹa trản giĂ tr mổ phọng trữợc ca ("0; :::; " q+1) hoc dỹa trản phƠn phi cõ iãu kiằn ca ("0; :::; " q+1) v c¡c tham sŁ l mºt ph¥n phŁi chu'n Thu“t to¡n 3.3[10]: Nh£y ng÷ỉc M A(q) Khði t⁄o: Chån L°p i l°p l⁄i t(t (0) (0) ;" ; 1) : (0) v (0) tũy ỵ Chy cĂc bữợc t n ca thut toĂn (3.2) vợi iãu kiằn trản " h m hổp lỵ cõ iãu kiằn chnh x¡c t÷ìng øng Mỉ phäng " (t) (t 1) vợi bi mt bữợc Metropolis-Hasting V dử 3.2[10] (tip): Chúng ta xem x†t 350 i”m ƒu ti¶n cıa chuØi Air Liquide Eurostoxx50 K‚t qu£ ⁄i di»n cho q = v 10000 lƒn l°p l⁄i thu“t to¡n (3.3), vợi ữợc lữổng nhữ sau: Hnh 3.3[10] 73 H ng trản cũng: biu ỗ trĂi l trnh tỹ ca c¡c nghi»m phøc (dao ºng tł ‚n 8); biu ỗ gia v phÊi l chuỉi ca v : H ng gia l trnh tỹ ữợc lữổng ca c¡c #i (i = 1; 2; 3) : H ng dữợi : biu ỗ trĂi l trnh tỹ h m hổp lỵ ữổc quan sĂt; biu ỗ giœa l bi”u hi»n cıa ¡m m¥y cıa c¡c nghi»m phức vợi ranh giợi ca hnh trặn ỡn v; biu ç b¶n ph£i l ph¡t tri”n cıa mỉ phäng " t: 3.2.3 xt (t Z) ÷ỉc x¡c ành bði: x t 74 Trong â "t l ºc l“p Cho ph÷ìng tr…nh quan s¡t: y =B t+1 B B B B B B @ Vỵi r = max(p; q + 1) v m>q T÷ìng tü tr÷íng hỉp MA(q), ⁄i di»n khỉng gian tr⁄ng th¡i n y l ti»n dưng vi»c ÷a c¡c thu“t to¡n MCMC hºi tư ‚n ph¥n phŁi h“u nghi»m cıa c¡c tham sŁ cıa mỉ h…nh N‚u chóng ta ành ngh¾a (t>p) e xt = xt H m hổp lỵ ging nhữ h m hổp lỵ tiảu chu'n M A(q) trản xe t; cĂc khổi phửc ca h m hổp lỵ AR(p) l nhiãu hỡn Nu nh nghắa s P q "et = #j"t j; log-h m hổp lỵ iãu kiằn trản x0:(p 1) l: j=1 Rª r ng l mºt log-h m hổp lỵ AR Kt lun: Trản Ơy,  thĐy vai trặ ca thng kả Bayes viằc xò lỵ cĂc mổ hnh chuỉi thới gian AR; M A; ARM A: C¡c mæ h…nh n y câ i”m chung l sò dửng h m tiản nghiằm thiu thổng tin v ch khĂc h m hổp lỵ CĂc h m hổp lỵ n y liản kt vợi c¡c gi¡ trà quan s¡t Ta xem 75 x†t phữỡng phĂp chồn h m hổp lỵ ca mổ hnh AR(p) düa tr¶n c¡c gi¡ trà quan s¡t: ƒu ti¶n l xem xt h m hổp lỵ liản kt vợi c¡c gi¡ trà quan s¡t x 0:T ; nâ phö thuºc v o c¡c gi¡ trà khỉng quan s¡t ÷ỉc x p; :::; x 1: Tuy nhi¶n vi»c t‰nh to¡n h m hổp lỵ n y l khĂ tn km v nõ liản quan tợi tch phƠn (khĂ lợn) Thứ hai l xem xt h m hổp lỵ liản kt vợi cĂc giĂ tr quan sĂt ữổc x p:T ; nâ phö thuºc v o c¡c gi¡ trà quan s¡t ban ƒu x0; :::; xp 1: Sau â ta câ th Ăp dửng thut toĂn nhÊy ngữổc kt hổp vợi thut toĂn Metropolis-Hastings xĐp x h m hổp lỵ n y ữợc lữổng cĂc hằ s ca cĂc mổ h…nh chi thíi gian Łi vỵi c¡c mỉ h…nh kh¡c, viằc chồn h m hổp lỵ cụng ging nhữ mổ hnh AR(p): Phữỡng phĂp xem xt h m hổp lỵ liản kt vợi cĂc giĂ tr quan sĂt ữổc v phö thuºc v o c¡c gi¡ trà quan s¡t ban ƒu l ìn gi£n hìn, rª r ng hìn v vÔn giÊi quyt ữổc viằc ữợc lữổng cĂc hằ s cıa c¡c mỉ h… nh mºt c¡ch hi»u qu£ ¥y ch‰nh l líi gi£i cıa b i to¡n Occam’s razor viằc lỹa chồn phữỡng phĂp xò lỵ mổ hnh chuỉi thới gian 76 Kt lun Lun vôn  trnh b y tng quan vã thng kả Bayes, so sĂnh gia thng kả tn suĐt v Bayes mt s trữớng hổp Thng kả tn suĐt xem tham s l mt giĂ tr khổng bit khổng ngÔu nhiản thng kả Bayes coi tham s l bin ngÔu nhiản tuƠn theo mt phƠn phi n o õ, tham sŁ â l⁄i phö thuºc v o c¡c tham sŁ kh¡c gåi l c¡c si¶u tham sŁ (hyperparameters) Trong lu“n vôn  trnh b y cĂc suy lun Bayes nhữ ÷ỵc l÷ỉng, ki”m ành, dü o¡n vỵi c¡c tr÷íng hỉp cıa ti¶n nghi»m chøa thỉng tin v ti¶n nghi»m thi‚u thổng tin dỹa v o phƠn phi hu nghiằm, ỗng thới so sĂnh vợi tn suĐt Lun vôn cụng trnh b y øng döng cıa Occam’s razor ” gi£i quy‚t mºt sŁ b i to¡n thüc t‚: chån bi‚n mổ hnh hỗi quy tuyn t nh, b i to¡n cıa Galileo, v ph¥n t‰ch mỉ h…nh chi thíi gian T mổ hnh hỗi quy tuyn tnh tợi cĂc mỉ h…nh chi thíi gian, nhí thŁng k¶ Bayes, chóng ta ãu cõ kt quÊ suy lun tt cho mÔu d liằu thỹc t, nõ ữổc cp nht liản tửc v cõ ữổc phƠn phi dng Tuy nhi¶n, cơng câ mºt sŁ h⁄n ch‚ cıa suy lu“n Bayes vi»c t ‰nh to¡n: t‰nh t‰ch ph¥n, k‰ch thữợc mÔu lợn Trong lun vôn cụng  tr…nh b y ph÷ìng ph¡p MCMC ” gi£i quy‚t c¡c h⁄n ch‚ n y CuŁi còng t¡c gi£ mong muŁn tip tửc i sƠu nghiản cứu vã thng kả Bayes, cõ ữổc hiu bit sƠu sc hỡn, y hỡn vã phữỡng phĂp n y TĂc giÊ hy vồng t÷ìng lai câ th” ¡p dưng ÷ỉc c¡c suy lu“n Bayes v o thüc ti„n cuºc sŁng 77 T i liằu tham khÊo [1] o Hu Hỗ, Thng k¶ to¡n håc, NXB H v THCN, NXB HQG H Ni, (1984) [2] Nguyn Vôn Hu, Nguyn Hu Dữ PhƠn t‰ch thŁng k¶ v dü b¡o, NXB HQG H Nºi, (2003) [3] Nguyn XuƠn Dỹc, Phữỡng phĂp mổ phọng Monte Carlo: Gi£i thu“t Gibbs, Khâa lu“n tŁt nghi»p, Tr÷íng ⁄i håc Khoa håc Tü nhi¶n [4] Andrew Gelman, John B Carlin, Hal S Stern and Donald, Bayesian Data analysis [5] Congdon, Bayesian Statistical Modelling, John Wiley, New York, (2001) [6] Dupuis, Bayesian estimation of movement probabilities in open populations using hidden Markov chains, Biometrika, 82(4):761 772, (1995) 78 [7] Green, Reversible jump MCMC computation and Bayesian model determination, Biometrika, 82(4):711 732, (1995) [8] William H Jefferys and James O Berger, Ockham’s Razor and Bayesian Analysis [9] William M Bolstad, Introduction to Bayesian statistics [10] Jean- Michel Marin Christian P.Robert, Bayesian core: A practical approach to computational Bayesian statistics 79 ... Razor 2.1 B i to¡n occam’s razor 2.1.1 2.1.2 2.2 Occam’s razor mæ h…nh 2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 Quy‚t ành Bayes mæ h…nh chi thíi gian 3.1 Ùng dưng cıa b i to¡n Occam’s t‰nh ... kả Bayes 1.2 Suy lun Bayes cho bin ngÔu n 1.2.1 1.2.2 1.2.3 1.2.4 1.3 Suy lun Bayes cho bin ngÔu n 1.3.1 1.3.2 1.3.3 1.3.4 1.4 ChuØi Markov 1.4.1 1.4.2 1.4.3 B i to¡n Occam’s Razor. .. mÔu cho phƠn phŁi h“u nghi»m Ch÷ìng B i to¡n Occam’s razor Trong ch÷ìng 2, t¡c gi£ tr…nh b y mỉ h…nh hỗi quy tuyn tnh v ứng dửng ca b i to¡n Occam’s razor vi»c lüa chån mæ h…nh (chån bin), õ sò