Luận văn thạc sĩ phương pháp VB và ứng dụng

ĐAI HOC QUOC GIA HÀ N®I TRƯèNG ĐAI HOC KHOA HOC TU NHIÊN ——————————— Đő Th% Len PHƯƠNG PHÁP VB VÀ ÚNG DUNG LU¾N VĂN THAC SĨ KHOA HOC HÀ N®I - 2016 ĐAI HOC QUOC GIA HÀ NƠI ĐAI HOC KHOA HOC TU NHIÊN ——————————— Đő Th% Len PHƯƠNG PHÁP VB VÀ ÚNG DUNG Chuyên ngành: LÍ THUYET XÁC SUAT VÀ THONG KÊ TOÁN HOC Mã so: 60 46 01 06 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC TS Tran Manh Cưịng HÀ N®I - 2016 Lài cam ơn Lu¾n văn đưec hồn thành véi sE hưéng dan t¾n tình het sÉc nghiêm khac cua TS Tran Manh Cưèng Trưéc trình by nđi dung chớnh cua luắn vn, tỏc gia muon bày to lòng biet ơn chân thành sâu sac téi ngưèi thay đáng kính cua Thay ln t¾n tình hưéng dan giai đáp thac mac cua tác gia suot q trình làm lu¾n văn Tác gia muon gEi téi toàn the thay Khoa Tốn - Cơ - Tin HQC trưèng Đai HQC Khoa HQC TE nhiên - Đai HQC Quoc gia H Nđi, cỏc thay cụ ó am nhắn giang day khóa Cao HQC 2014 - 2016, đ¾c bi¾t thay tham gia giang day nhóm Xác suat thong kê 2014 - 2016 lèi cam ơn chân thành đoi véi công lao day dő suot thèi gian cua khóa HQC Tác gia xin cam ơn gia đình, ban bè, đong nghi¾p anh ch% em nhóm Xác suat thong kê 2014 - 2016, thành viên nhóm Seminar thay Tran Manh Cưèng phn trách ve chu đe liên quan đen Thong kê Bayes quan tâm, giúp đe, tao đieu ki¾n đ®ng viên tinh than đe tác gia có the hồn thành đưec khóa HQC Tác gia xin chân thành cam ơn! Hà N®i, ngày tháng năm 2016 HQC VIÊN Đő Th% Len Mnc lnc Lài cam ơn Lài ma đau Thong kê Bayes5 Thong kê Bayes5 1.1 Giéi thi¾u 1.2 M®t so phân phoi thưèng dùng 1.3 Suy lu¾n Bayes cho tham so ti l¾ phân phoi nh% thÉc 14 1.4 1.5 1.3.1 Tiên nghi¾m 14 1.3.2 H¾u nghi¾m 15 1.3.3 Ưéc lưeng 15 1.3.4 Kiem đ%nh gia thiet .16 Suy lu¾n Bayes cho kỳ VQNG phân phoi Gaussian 17 1.4.1 Tiên nghi¾m 17 1.4.2 H¾u nghi¾m 17 1.4.3 Ưéc lưeng 18 1.4.4 Kiem đ%nh gia thiet .19 Hoi quy Bayes 20 1.5.1 Suy lu¾n Bayes cho mơ hình hoi quy tuyen tính Bayes đơn 21 1.5.2 Mơ hình hoi quy tuyen tính Bayes b®i 25 1.5.3 Mơ hình hoi quy Logistic Bayes 27 Mnc lnc MUC LUC MUC LUC Phương pháp VB30 2.1 Nguon goc toán HQC 30 2.2 Xap xi phân phoi h¾u nghi¾m 32 2.3 2.4 2.2.1 Xap xi phân phoi h¾u nghi¾m cua bien Z đc lắp tẩng khoi 32 2.2.2 Xap xi đ%a phương - Tham so bien phân .34 Áp dnng phương pháp VB cho phân phoi Gaussian 36 2.3.1 Phân phoi Gaussian m®t chieu 36 2.3.2 Phân phoi đa thÉc Gaussian 40 Áp dnng phương pháp VB cho mô hình hoi quy Bayes 47 2.4.1 Mơ hình hoi quy tuyen tính Bayes 47 2.4.2 Mơ hình hoi quy Logistic Bayes 52 Úng dnng59 3.1 3.2 Phõn phoi hắu nghiắm khụng thuđc HQ phõn phoi biet .59 3.1.1 Bài toán 60 3.1.2 Thu¾t tốn 63 3.1.3 Code chay phan mem mathlab .63 3.1.4 Ket qua 66 Phõn phoi hắu nghiắm thuđc HQ phõn phoi biet 67 3.2.1 Bài toán 67 3.2.2 Thu¾t tốn 71 3.2.3 Code chay phan mem mathlab .71 3.2.4 Ket qua 73 Ket lu¼n 75 Mnc lnc Lài ma đau Hi¾n nay, thong kê có hai trưèng phái: Thong kê tan suat thong kê Bayes Thong kê tan suat đèi trưéc phương pháp bien hi¾n Nó dEa nhEng ket qua quan sát mau cua hi¾n tai mà khơng can đen nhEng thơng tin, dE li¾u biet trưéc Thong kê Bayes dEa nhEng thơng tin dE li¾u biet trưéc ket qua quan sát mau cua hi¾n tai đe suy lu¾n cho nhEng thong kê hi¾n tai Thong kê Bayes hay cịn GQI suy lu¾n Bayes đèi se đ%nh lý Bayes Đó kieu suy lu¾n thong kê mà đó, nhà thong kê sE dnng phân phoi tiên nghi¾m (thơng tin biet trưéc) ve van đe xét thông tin mau (các quan sát hay bang chÉng), áp dnng cơng thÉc đ%nh lý Bayes đe tìm phân phoi h¾u nghi¾m (xác suat xay e hi¾n tai), tÈ dùng phân phoi h¾u nghi¾m đe suy lu¾n cho thong kê hi¾n tai Ví dn: Xét tốn ưéc lưeng cho tham so θ cua bien ngau nhiên X véi mau X , X , , Xn • Theo thong kê tan suat, tham so cua bien ngau nhiờn nhắn mđt giỏ tr% no Ta tìm đưec tham so cua mau θ∗ theo cơng thÉc tính dEa theo giá tr% quan sát mau Ta có E [θ∗] = θ Do đó, ta dùng θ∗ đe ưéc lưeng cho tham so θ Chang han, ưéc lưeng cho giá n tr% trung bình µ cua bien ngau nhiên: ta tính trung bình mau X = i=1 Xi , sau dùng n giá tr% trung bỡnh mau e ộc leng cho ã Theo thong kê Bayes, tham so θ m®t bien ngau nhiên liên tnc Trưéc het, ta biet phân phoi tiên nghi¾m cua θ p (θ) Sau đó, áp dnng %nh lý Bayes ta tớnh ec mắt đ hắu nghi¾m p (θ|X1 , X , , X n ) Khi tham so cua mau dùng đe ưéc lưeng đưec xác θ∗ = E [θ] = ∫ θp (θ|X 1, X 2, , X n ) dθ Lài má đau đ%nh sau: Đe ưéc lưeng cho tham so cua thong kê hi¾n tai, nhà thong kê Bayes can dùng phân phoi h¾u nghi¾m đe ưéc lưeng Như vây ta có the nói rang phõn phoi hắu nghiắm l mđt yeu to ắc biắt quan TRQNG q trình suy lu¾n Bayes Tuy nhiên, vi¾c tính tốn đe tìm phân phoi h¾u nghi¾m đơi rat phÉc tap ho¾c có the khơng tính đưec Đe giai quyet van đe này, ngưèi ta tìm cách xap xi phân phoi h¾u nghi¾m Do đó, phương pháp VB (Variational Bayesian) đèi đe tìm giá tr% gan nhat cua phân phoi h¾u nghi¾m Trong lu¾n văn này, tác gia trình bày ve m®t phương pháp suy luắn Bayes l phng phỏp VB v mđt so Éng dnng cua phương pháp Lu¾n văn cua tác gia đưec chia làm chương: Chương Thong kê Bayes Trong chương này, tác gia giéi thi¾u chung ve thong kê Bayes; m®t so phân phoi thơng thưèng; mđt so mụ hỡnh suy luắn Bayes: Suy luắn Bayes cho tham so cua phân phoi nh% thÉc, kỳ VQNG cua phân phoi Gaussian m®t chieu, tham so cua mơ hình hoi quy tuyen tính Bayes đơn TÈ làm se đe nghiên cÉu phan tiep theo Chương Phương pháp VB Trong chương này, tác gia trình bày kien thÉc ve phương pháp VB bao gom: Nguon goc tốn HQC; xap xi phân phoi h¾u nghi¾m; áp dnng phương pháp VB cho phân phoi Gaussian, áp dnng phương pháp VB cho mơ hình hoi quy Bayes Chương Úng dnng Trong chương này, tác gia giéi thi¾u Éng dnng phương pháp VB cho hai trưèng hep: Phân phoi hắu nghiắm khụng thuđc HQ phõn phoi no ó biet; phõn phoi hắu nghiắm thuđc HQ phõn phoi ó biet Đe nghiên cÉu ve đe tài "Phương pháp VB Úng dnng", tác gia tham khao m®t so tài li¾u ngồi nưéc ve thong kê tan suat, thong kê Bayes, phan mem Mathlab Trong Nđi dung chớnh chng cua luắn tham khao ti liắu [5] v [8]; Nđi dung chớnh chng cua lu¾n văn tham khao tài li¾u [5] [6]; Nđi dung chớnh chng cua luắn tham khao tài li¾u [5]; ◦ e phan Éng dnng phương pháp VB, tác gia áp dnng phương pháp VB đe tính tốn TÈ đó, viet thu¾t tốn dùng phan mem Mathlab đe thEc hi¾n ket qua Chương Thong kê Bayes Thong kê Bayes có sE khác bi¾t so véi thong kê tan suat e cách thÉc tiep c¾n van đe: Thong kê tan suat quan ni¾m tham so cua bien ngau nhiên m®t giá tr% đó, cịn thong kê Bayes quan ni¾m tham so cua bien ngau nhiên m®t bien ngau nhiên Suy lu¾n Bayes thEc hi¾n theo trình tE: tÈ phân phoi tiên nghi¾m mà ta tin tưeng, áp dnng đ%nh lý Bayes tìm phân phoi h¾u nghi¾m, sau dùng phân phoi h¾u nghi¾m đe ưéc lưeng, kiem đ%nh gia thiet thong kê, phân tích hoi quy tuyen tính 1.1 Giái thi¾u Suy lu¾n Bayes xuat phát tÈ đ%nh lý Bayes đieu chinh xác suat có thơng tin méi theo cách sau đây: P (Z X | ) P (X |Z ).P (Z ) P (X ) Trong Z diắn cho mđt gia thiet, gia thiet ny đưec suy lu¾n trưéc có thơng tin méi P (Z ) đưec GQI xác suat tiên nghi¾m cua Z P (X |Z ) xác suat xay X neu biet gia thiet Z Đai lưeng cịn đưec GQI 1.4 SUY LU¾N BAYES CHO KỲ VONG PHÂN PHOI GAUSSIAN 1.4 1.4.1 Thong kê Bayes Suy lu¼n Bayes cho kỳ vQNG phân phoi Gaussian Tiên nghi¾m Xét bien quan sát Y tuân theo quy luắt phõn phoi chuan cú k VQNG bang phương sai bang σ2 biet Gia sE phân phoi tiên nghi¾m phân phoi chuan véi kỳ VQNG m phương sai s Khi hàm mắt đ tiờn nghiắm cua cú dang: g µ ∝ e − 2s1 (µ−m) (1.5) e õy, ta bo qua phan khụng phn thuđc vỡ tiên nghi¾m nhân véi hang so bat kỳ se khơng anh hưeng đen ket qua h¾u nghi¾m Hàm hep lý có dang: Σ f Y |µ ∝ (1.6) − 2 e (y−µ σ ) e đây, ta bo qua phan khụng phn thuđc vỡ tiờn nghi¾m nhân véi hang so bat kỳ se khơng anh heng en ket qua hắu nghiắm 1.4.2 Hẳu nghiắm Theo đ%nh lý Bayes h¾u nghi¾m ty l¾ véi tích tiên nghi¾m hàm hep lý Σ Σ g à|y g ì f Y |à Do đó, theo (1.5) (1.6) ta có: g |y µ Σ ∝ exp − ∝ exp − Σ (µ−m ) ( y−µ) Σ + Σ s2 2σ2 s2/ (σ2+s2) σ µ− (σ2 2m+s y ) Σ2 σ +s Như vắy phõn phoi hắu nghiắm cua tham so l phân phoi chuan véi kỳ 17 VQNG Suy lu¾n Bayes cho kỳ Thong kê Bayes VQNG phương sai xác đ%nh sau: mf = Σ2f s Σ σ2m + s2 y σ2 2+ σ2 s s σ2 + s = Σ Σ Σ−1 1 f = 2+ s σ s2 Cơng thÉc tính kỳ VQNG có the bien đoi sang dang: Σ σ2m + s2 y m = σ2 + 2 = σ2s m + 2s y σ +s σ + s2 1/s2 1/σ2 = m+ y 1/σ2 + 1/s2 1/σ2 + 1/s2 f M®t cách khác, véi mau ngau nhiên y , y n phân phoi chuan kỳ VQNG µ phương sai σ2 biet, ta dùng hàm hep lý cua trung bình mau y Trong y tn µ theo quy lu¾t σ phân phoi chuan véi kỳ VQNG VQNG phương sai Phân phoi h¾u nghi¾m xác đ%nh véi kỳ n phương sai theo bieu thÉc sau: 1/s2 f m = (sf) 1.4.3 n/σ2 + 1/s2 n = s2 + ×m+ n/σ2 n/σ2 + 1/s2 ×y (1.7) (1.8) σ2 Ưác lưang Phương sai biet Σ Phân phoi h¾u nghi¾m xap xi phân phoi chuan N mf, sf Σ Kỳ VQNG cua phân phoi h¾u nghi¾m m f đưec xác đ%nh theo cơng thÉc (1.7), thEc hi¾n theo bưéc: 1 Đ® xác bang ngh%ch đao cua phương sai: s2 2.đ chớnh xỏc cua hắu nghiắm bang tong đ chớnh xỏc cua tiờn nghiắm v đ chớnh n xỏc cua trung bình mau: + s2 σ2 18 Suy lu¾n Bayes cho kỳ Thong kê VQNG Bayes 3.Kỳ VQNG h¾u nghi¾m bang tong có TRQNG so giEa kỳ VQNG tiên nghi¾m trung bình 19 mau, TRQNG so bang ty lắ cua đ chớnh xỏc vội đ chớnh xỏc cua hắu nghiắm: 1/s2 n/2 + 1/s2 n/2 ìm+ n/2 + 1/s2 ×y Phương sai sf xác đinh theo cơng thÉc (1.8) Tẩ ú, vội đ tin cắy (1 ) ì 100%, khoang tin c¾y cua π xap xi khoang xác đ%nh sau: (1.9) m f − z α × s f ; m f + z α × s f Σ 2 Trong zα phân v% mÉc α/2 cua phân phoi chuan tac Phương sai chưa biet Tìm phương sai mau: ^2 n n − i=1 Σ 1σ = i TÈ tìm mf sf theo cơng thÉc (1.7), (1.8) dùng σ2 xác đ%nh thay cho y−y phương sai σ chưa biet ^ Khi đó, phân phoi h¾u nghi¾m xap xi phân phoi Student Vội đ tin cắy (1 ) ì 100%, khoang tin cắy cua xap xi khoang xỏc %nh nh sau: m f − t Trong t 1.4.4 α α × s f; mf + t α × s fΣ phân v% mÉc α/2 cua phân phoi Student véi h¾ so tE n − Kiem đ%nh gia thiet Kiem đ%nh m®t phía Bài toán kiem đ%nh véi mÉc ý nghĩa α H0 : µ ≤ µ0 H : µ > µ0 (1.10) 1.5 HOI QUY BAYES Thong kê Bayes Ta tính xác suat gia thiet ỳng bang tớch phõn cua mắt đ h¾u nghi¾m mien gia thiet P H0 : µ ≤ µ0|y1, y2, yn Σ µ0 ∫ Σ g µ|y1, y2, yn dµ − Σ ∞ µ −m f µ0 −m f =P ≤ sf µ −m sf = P Z ≤ fΣ = f s Ta bác bo gia thiet neu xác suat h¾u nghi¾m nho mÉc ý nghĩa α Neu dùng ưéc lưeng cho phương sai mau Z tn theo quy lu¾t phân phoi Student véi h¾ so tE bang n − Kiem đ%nh hai phía Bài tốn kiem đ%nh véi mÉc ý nghĩa α H : µ = µ0 H1 : µ /= à0 Ta khụng tớnh xỏc suat hắu nghiắm m tỡm khoang tin cắy cua vội mẫc ý ngha α theo (1.9) ho¾c (1.10) Neu giá tr% quan sát ec khụng thuđc khoang tin cắy thỡ ta bỏc bo gia thiet; neu giá tr% quan sát đưec thu®c khoang tin c¾y ta khơng the bác bo gia thiet 1.5 Hoi quy Bayes Mơ hình hoi quy tuyen tính bieu bien moi liên h¾ giEa hai bien X Y quan sát đưec Véi niem tin rang giá tr% Y phn thu®c vào giá tr% cua X , 20 Hoi quy Bayes 1.5.1 Thong kê Bayes Suy lu¼n Bayes cho mơ hình hoi quy tuyen tính Bayes đơn Mơ hình hoi quy đơn giEa hai bien X Y y = βx + α Trưéc het, ta thu th¾p thơng tin n c¾p giá tr% xi , yi , i = 1, 2, , n TÈ tìm hai Σ điem quan sát đưec nho nhat tham so β α cho tong bình phương sai so cua SS = n Σ yi − ΣΣβxi + α i=1 Theo đ%nh lý Bayes h¾u nghi¾m ti l¾ véi tích tiên nghi¾m hàm hep lý Hàm hap lý Các quan sát đ®c l¾p, véi mői quan sát thÉ i ta có Σ yi = αx + β xi − x + εi Trong αx giá tr% trung bình cua y x = x , β h¾ so gúc v cỏc i đc lắp vội nhau, tuõn theo quy lu¾t phân phoi chuan véi kỳ VQNG bang phương sai σ2 Do αx y i |x i đc lắp vội v tuõn theo quy lu¾t phân phoi chuan véi kỳ VQNG bang + β x i − x phương sai σ2 Σ Ta có hàm hep lý cua quan sát thÉ i Σ f i αx , β ∝ Σ y − e 2 σ +β − α x xi i − ΣΣΣ2 x e đây, ta bo qua phan không chÉa tham so, αx Cỏc quan sỏt l đc lắp nờn ta cú hm 21 hep lý cua hai tham so αx , β f αx , β ∝ n Σ Q e− 2σ2 [yi −(αx +β(xi −x))] i=1 − 12 ∝ [yni −(αx +β(xi −x))]2 σ ∝ e i=1 − 12 [ SS y −2βSS xy +β2 SS x ] 2σ − Σβ− ∝ SSx 2σ /SSx ∝ e ∝ SS xy −1 ×e e − Σ2 2σ2/SS x − 12 Σn(αx −y )2Σ × e 2σ Σ ( 2σ2/n −y )2Σ x α 2 [β−B × e− Σ(αx −Ax ) Σ ]2 Σ Σ f αx × f β Trong SS x = n xi − x i=1 Σ n SS y = yi − y i=1 Σ n Σ Σ SS x y = xi − x y i − y i=1 SSx y Tiên nghi¾m Phân phoi tiên nghi¾m đong thèi cho αx , β Σ Σ Σ g αx , β = g αx × g β Trong αx , β tn theo phân phoi chuan: Σ g αx = N mαx , sα2 Σ Σ x g β = N m , s2 Hẳu nghiắm (1.11) (1.12) (1.13) Phân phoi tiên nghi¾m đong thèi cho αx , β Σ Σ Σ g αx , β|data ∝ g αx , β × f αx , β Σ Σ ∝ g αx |d at a × g β|d at a Σ Σ g α x |d at a Σ = N mf , sf Σ g β|d at a = N mfαx, sfαΣ2Σ β βx Theo (1.11) ÷ (1.14), kỳ VQNG phương sai cua αx , β đưec xác đ%nh sau: f = n Σ2 s2 + σ sαx f αx 1/s2 n/σ2 f mα = x Σ2 = f αx f Σ2 × mαx + 1/ s α SS x s + x σ2 1/ Σ× Ax α (1.15) sβ β mf = β 1/s2 β × mf + 1/.sfβΣ2 SS x /σ ×B (1.16) 1/.sfβΣ2 β Ưác lưang cho h¾ so góc Trưàng hap phương sai ó biet Theo (1.15), (1.16), vội đ tin cắy (1 ) ì 100% ta cú khoang tin cắy cua h¾ so góc β s Σ2 f f m −z ×β α2 β sf 2Σ Σ ; m + z 2α ×β β f e zα phân v% mÉc α/2 cua phân phoi chuan tac Trưàng hap phương sai chưa biet Ta dùng ưéc lưeng cho phương sai n i ^= σ Σ ΣΣΣ =1 yi − A x + B xi − x n−2 (1.17) Khi đó, kỳ VQNG phương sai cua β xác đ%nh theo (1.15), (1.16) dùng phương sai mau thay cho phương sai chưa biet cua bien ngau nhiên TÈ đó, vội đ tin cắy (1 ) ì 100% ta cú khoang tin c¾y cua h¾ so góc β xác đ%nh theo cơng thÉc: f mβ − t × B t ^ Hoắc f Σ2 Σ (1.18) s α β × ;B+t 2 Trong đó, t f Σ2 s βf ; mβ + t × SS SS x x ìá ^ (1.19) phõn v% trờn mÉc α/2 cua phân phoi Student véi h¾ so tE −n Kiem đ%nh h¾ so góc Kiem đ%nh m®t phía Bài tốn kiem đ%nh véi mÉc ý nghĩa α H0 : β ≤ β0 H1 : β > β0 Ta tính xác suat gia thiet bang tớch phõn cua mắt đ hắu nghiắm trờn mien gia thuyet β0 ∫ Σ β|data dβ P H0 : β ≤ β |data = g −∞ Σ  β0 −mf β = P Z ≤ f sβ Ta bác bo gia thiet neu xác suat h¾u nghi¾m nho mÉc ý nghĩa α Neu dùng ưéc lưeng phương sai mau Z bien ngau nhiên tuân theo phân phoi Student véi h¾ so tE n − Kiem đ%nh hai phía Ta biet rang neu β = y khơng phn thu®c vào x Do ta chi can làm tốn kiem đ%nh véi mÉc ý nghĩa α H0 : β = H1 : β /= Ta khơng tính xác suat h¾u nghi¾m mà tìm khoang tin c¾y cua β véi mÉc ý nghĩa α theo (1.17) ho¾c (1.18) hay (1.19) Neu giỏ tr% khụng thuđc khoang tin cắy thỡ ta bác bo gia thiet; neu giá tr% thu®c khoang tin c¾y ta khơng the bác bo gia thiet Do có sE sai khác giEa hàm hoi quy giá tr% quan sát nên sE dnng hàm hoi quy ngưèi ta viet dang: y = βx + α+ ε Trong ε bien ngau nhiên phân phoi chuan véi kỳ VQNG bang 0, phương sai bang β−1 Ngưèi ta GQI ε yeu to ngau nhiên (ho¾c nhieu) 1.5.2 Mơ hình hoi quy tuyen tính Bayes b®i Mơ hình hoi quy giEa hai bien X - k chieu bien Y m®t chieu y = wT φ (x) Trong ΣT y = y1, y2, , yn w = (w0, w1, , wk )T Σ ΣT φ 1≤i≤ x1i xki (x) n = Như v¾y, mơ hình hoi quy tong qt coi w h¾ so, φ (x) bien đai di¾n cho x Phân phoi cua tham so w p (w) = N (m, S) Ngồi tham so w phn thu®c tham so α theo quy lu¾t phân phoi Σ p (w|α) = N 0, α−1I TÈ so li¾u thu th¾p n c¾p giá tr% yi , φi ngưèi ta thay có sE sai khác giEa mơ hình Σ giá tr% quan sát đưec nên ngưèi ta đưa mơ hình bien quan sát T phn thu®c bien Y sau Σ t = y w, φ + ε Trong t = (t1, t2, , tn )T Σ ε = (ε1, ε2, , εn )T ; εi ∼ N 0, β−1 Ta có bien quan sát tuân theo quy lu¾t phân phoi: Σ Σ Σ p Ti |φ, w, β = N yi w, φi , β−1 TÈ ta có hàm hep lý n YΣ Σ p T |φ, w, β =Σ N yi w, φi , β−1 i=1 Σ n ln p T |φ, w, β = = n Σ ln N yi (w, X i ) , β−1 i= ln2β− n n ln(2π) −β 2 i=1 t i − wT φ i 1.5.3 Mơ hình hoi quy Logistic Bayes Mơ hình hoi quy Logistic Ta có bien co xay ho¾c khơng xay tương Éng bien ngau nhiên chi nh¾n giá tr % X = 0, xác suat xay P (X = 1) = π Khi khơng the dùng hàm hoi quy tuyen tính thơng thương mà dùng hàm hoi quy logistic: log π Σ = α+ βX −π TÈ suy π= eα+βX + eα+βX Ta có bien quan sát X = (X1, , Xn ) ta có tương Éng π = (π1, , πn ) Bien ngau nhiên Y phn thu®c bien X theo cơng thÉc πi = P (Yi = 1|Xi = xi ) = eβ0+βi xi + eβ0+βi xi TÈ log πi Σ=β+β x +β x + +β x in π− i i1 i2 n Mô hình hoi quy Logistic Bayes Đây mơ hình ket hep giEa hai mơ hình hoi quy Bayes mơ hình hoi quy Logistic Mơ hình hoi quy Logistic Bayes giEa hai bien X - k chieu bien Y mđt chieu: y = wT (x) Hắu nghiắm thu®c HQ phân phoi biet Úng dnng Hình 3.3: Xap xi hắu nghiắm à, 74 ... tiep theo Chương Phương pháp VB Trong chương này, tác gia trình bày kien thÉc ve phương pháp VB bao gom: Nguon goc toán HQC; xap xi phân phoi h¾u nghi¾m; áp dnng phương pháp VB cho phân phoi... nghi¾m Do đó, phương pháp VB (Variational Bayesian) đèi đe tìm giá tr% gan nhat cua phân phoi h¾u nghi¾m Trong lu¾n văn này, tác gia trỡnh by ve mđt phng phỏp suy luắn Bayes phương pháp VB m®t so... KHOA HOC TU NHIÊN ——————————— Đő Th% Len PHƯƠNG PHÁP VB VÀ ÚNG DUNG Chuyên ngành: LÍ THUYET XÁC SUAT VÀ THONG KÊ TỐN HOC Mã so: 60 46 01 06 LU¾N VĂN THAC SĨ KHOA HOC NGƯèI HƯéNG DAN KHOA HOC TS