Mục tiêu nghiên cứu của luận án là đề xuất phương pháp mới khắc phục những hạn chế này, dựa trên phương pháp Bayes biến phân thích nghi với một dạng l1-norm; nghiên cứu mở rộng mô hình này cho trường hợp y là đa biến.
✣❸■ ❍➴❈ ◗❯➮❈ ●■❆ ❍⑨ ◆❐■ ❚❘×❮◆● ✣❸■ ❍➴❈ ❑❍❖❆ ❍➴❈ ❚Ü ◆❍■➊◆ ✣➔♦ ❚❤❛♥❤ ❚ò♥❣ ▲Ü❆ ❈❍➴◆ ❇■➌◆ ❇➀◆● P❍×❒◆● P❍⑩P ❇❆❨❊❙ ❇■➌◆ P❍❹◆ ❱❰■ ❉Ú ▲■➏❯ ▲❰◆ ❈❤✉②➯♥ ỵ tt st ố ❤å❝ ▼➣ sè✿ ✻✷✳✹✻✳✵✶✳✵✻ ❉Ü ❚❍❷❖ ❚➶▼ ❚➁❚ ▲❯❾◆ ⑩◆ ❚■➌◆ ❙➒ ❚❖⑩◆ ❍➴❈ ❍⑨ ◆❐■ ✕ ✷✵✶✽ ❈æ♥❣ tr➻♥❤ ✤÷đ❝ ❤♦➔♥ t❤➔♥❤ t↕✐✿ ❚r÷í♥❣ ✣↕✐ ❤å❝ ❑❤♦❛ ❤å❝ ❚ü ố ữớ ữợ ❞➝♥ ❦❤♦❛ ❤å❝✿ ✲P●❙✳❚❙✳ ❚❘❺◆ ▼■◆❍ ◆●➴❈ ✲❚❙✳ ❚❘❺◆ ▼❸◆❍ ❈×❮◆● P❤↔♥ ❜✐➺♥ ✶✿✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳ P❤↔♥ ❜✐➺♥ ✷✿✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳ P❤↔♥ ❜✐➺♥ ✸✿✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳✳ s ữủ trữợ ỗ ✣↕✐ ❤å❝ ◗✉è❝ ❣✐❛ ❝❤➜♠ ❧✉➟♥ →♥ t✐➳♥ s➽ ❤å♣ t↕✐ ❚r÷í♥❣ ✣↕✐ ❤å❝ ❑❤♦❛ ❤å❝ ❚ü ♥❤✐➯♥✱ ✣↕✐ ❤å❝ ố ỗ ✳✳✳✳✳ t❤→♥❣ ✳✳✳✳✳ ♥➠♠ ✷✵ ✳✳✳ ❈â t❤➸ t➻♠ ❤✐➸✉ ❧✉➟♥ →♥ t↕✐✿ ✲ ❚❤÷ ✈✐➺♥ ◗✉è❝ ❣✐❛ ❱✐➺t ◆❛♠ ✲ ❚r✉♥❣ t➙♠ ❚❤ỉ♥❣ t✐♥ ✲ ❚❤÷ ✈✐➺♥✱ ✣↕✐ ❤å❝ ◗✉è❝ ❣✐❛ ❍➔ ◆ë✐ ▼Ð ✣❺❯ ▲ü❛ ❝❤å♥ ♠æ ❤➻♥❤ ❧➔ ♠ët ❜➔✐ t♦→♥ ❝ì ❜↔♥ tr♦♥❣ t❤è♥❣ ❦➯ ❝ơ♥❣ ♥❤÷ tr♦♥❣ ♥❤✐➲✉ ❧➽♥❤ ✈ü❝ ❦❤♦❛ ❤å❝ ❦❤→❝✳ ●✐↔ sû r➡♥❣ ❝❤ó♥❣ t❛ ✤÷đ❝ ❝❤♦ ♠ët t➟♣ ❤đ♣ ❝→❝ ♠ỉ ❤➻♥❤ ♣❤↔♥ →♥❤ ♠ët ❧♦↕t ❝→❝ ❝➜✉ tró❝ t✐➲♠ ♥➠♥❣ tr♦♥❣ ❞ú ❧✐➺✉ ✈➔ ♥❤✐➺♠ ✈ö ❧➔ ❝❤å♥ tr♦♥❣ sè ✤â ♠ët ♠ỉ ❤➻♥❤ ❣✐↔✐ t❤➼❝❤ tèt ♥❤➜t ❤♦➦❝ ♣❤ị ủ t ợ ỳ õ rt ữỡ ❧ü❛ ❝❤å♥ ♠ỉ ❤➻♥❤ ♥ê✐ t✐➳♥❣ ♥❤÷ ♣❤÷ì♥❣ ♣❤→♣ ❤đ♣ ỵ ỹ t ữỡ s ữỡ tỹ ♥❣❤✐➺♠✳ ❈ị♥❣ ✈ỵ✐ sü ♣❤→t tr✐➸♥ ❝õ❛ ❦❤♦❛ ❤å❝ ✈➔ ❝ỉ♥❣ ♥❣❤➺✱ ♥❤✉ ❝➛✉ t❤ü❝ ❤✐➺♥ ❝→❝ ❜➔✐ t♦→♥ ❧ỵ♥ ✈➔ ♣❤ù❝ t↕♣ ♥❣➔② ❝➔♥❣ ✤÷đ❝ ♥➙♥❣ ❝❛♦✱ ✤á✐ ❤ä✐ ❝➛♥ ♣❤↔✐ ♣❤→t tr✐➸♥ ♥❤ú♥❣ t❤✉➟t t♦→♥ ♥❤❛♥❤ ♣❤ị ❤đ♣ ợ t õ Pữỡ s ✭❱❛r✐❛t✐♦♥❛❧ ❇❛②❡s✿ ❱❇✮ r❛ ✤í✐ ♥❤➡♠ ❣✐↔✐ q✉②➳t ♥❤✉ ❝➛✉ t❤✐➳t ②➳✉ ✤â✱ ✤÷đ❝ ♣❤→t tr✐➸♥ ✈➔ ù♥❣ ❞ư♥❣ rë♥❣ r➣✐ tø ❣✐ú❛ ♥❤ú♥❣ ♥➠♠ ✶✾✾✵✳ ❚r♦♥❣ ♥❤✐➲✉ tr÷í♥❣ ❤đ♣ t❛ ✤➣ ❜✐➳t ❞↕♥❣ ♠æ ❤➻♥❤ ❤♦➦❝ ✤➣ ①→❝ ✤à♥❤ ✤÷đ❝ ❝➜✉ tró❝ ❝õ❛ ♠ỉ ❤➻♥❤✳ ❑❤✐ ✤â ✈➜♥ ✤➲ ❝➛♥ q✉❛♥ t➙♠ ❧➔ ❝❤å♥ ❜✐➳♥ ❝❤♦ ♠æ ❤➻♥❤✳ ◆â ❧➔ tr÷í♥❣ ❤đ♣ ✤➦❝ ❜✐➺t ✭♥❤÷♥❣ t❤ỉ♥❣ ❞ư♥❣ ♥❤➜t✮ ❝õ❛ ❜➔✐ t♦→♥ ❧ü❛ ❝❤å♥ ♠æ ❤➻♥❤✳ ●✐↔ sû Y ❧➔ ❜✐➳♥ ✤÷đ❝ q✉❛♥ t➙♠ ✈➔ X1 , X2 , , Xp ❧➔ t➟♣ ❝→❝ ❜✐➳♥ ✤ë❝ ❧➟♣ ❝â t❤➸ ❣✐↔✐ t❤➼❝❤ ❤❛② ❞ü ✤♦→♥ Y ✳ ❱➜♥ ✤➲ ✤➦t r❛ ❧➔ ❝➛♥ ❝❤å♥ ❧ü❛ ❝→❝ ❜✐➳♥ q✉❛♥ trå♥❣✱ tù❝ ❧➔ ❧ü❛ ❝❤å♥ ♠ët t➟♣ ❝♦♥ tø p ❜✐➳♥ ✤â✱ ❝â ↔♥❤ ❤÷ð♥❣ ♥❤➜t ✤➳♥ Y ✤➸ ✤÷❛ r❛ ♠ỉ ❤➻♥❤ ❜✐➸✉ ❞✐➵♥ tèt ♥❤➜t ♠è✐ q✉❛♥ ❤➺ ❣✐ú❛ Y ✈➔ ữủ t ổ ỗ q✉② t✉②➳♥ t➼♥❤ ❤é♥ ❤ñ♣ tê♥❣ q✉→t ✭●❡♥❡r❛❧✐③❡❞ ▲✐♥❡❛r ▼✐①❡❞ ▼♦❞❡❧s✿ ●▲▼▼s✮ ❝â ♥❤✐➲✉ ù♥❣ ❞ö♥❣ rë♥❣ r➣✐ tr♦♥❣ t❤ü❝ t➳ ♥❤÷♥❣ ❧ü❛ ❝❤å♥ ❜✐➳♥ ❝❤♦ ●▲▼▼s tr♦♥❣ tr÷í♥❣ ❤đ♣ ♥❤✐➲✉ ❜✐➳♥ ✤÷đ❝ ①❡♠ ❧➔ ♠ët ❜➔✐ t♦→♥ ❦❤â✳ ❈→❝ ♣❤÷ì♥❣ ♣❤→♣ ❧ü❛ ❝❤å♥ ❜✐➳♥ ❝ê ✤✐➸♥ t❤➻ ❜à ❤↕♥ ❝❤➳ ❜ð✐ ♠ët sè ➼t ❜✐➳♥✱ ♣❤÷ì♥❣ ✶ ♣❤→♣ ❝õ❛ ●r♦❧❧ ❡t ❛❧ ❬✷✾❪ ✈➔ ❙❝❤❡❧❧❞♦r❢❡r ❡t ❛❧ ❬✹✺❪ ❝â t❤➸ t❤ü❝ ❤✐➺♥ ❧ü❛ ❝❤å♥ ❜✐➳♥ ❝❤♦ ●▲▼▼s tr♦♥❣ tr÷ì♥❣ ❤ñ♣ ♥❤✐➲✉ ❜✐➳♥✳ ❚✉② ♥❤✐➯♥✱ ✈➝♥ ❝á♥ ♥❤✐➲✉ ✈➜♥ ✤➲ ❉♦ ✤â ♠ư❝ t✐➯✉ t❤ù ♥❤➜t ❝õ❛ ❝❤ó♥❣ tỉ✐ ❧➔ t ữỡ ợ ỳ ♥➔②✱ ❞ü❛ tr➯♥ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ t❤➼❝❤ ♥❣❤✐ ✈ỵ✐ ♠ët ♣❤↕t ❞↕♥❣ l1✲♥♦r♠✳ ▼ư❝ t✐➯✉ ✷✳ ✤➸ ❝↔✐ t✐➳♥ tr♦♥❣ ❝→❝❤ t✐➳♣ ❝➟♥ ❝õ❛ ●r♦❧❧ ❡t ❛❧ ❬✷✾❪ ✈➔ ❙❝❤❡❧❧❞♦r❢❡r ❡t ❛❧ ❬✹✺❪✳ ❚r♦♥❣ t❤ü❝ t➳✱ ❤➛✉ ❤➳t ỳ ữủ t s tứ tờ t ổ ỗ ♥❤➜t✳ ✣➸ ♠ỉ ❤➻♥❤ ❤â❛ ❞ú ❧✐➺✉ ♥❤÷ ✈➟② t❤➻ ổ ỗ q ộ ủ trs rss s s ✤÷đ❝ ❝❤♦ ❧➔ ♣❤ị ❤đ♣ ♥❤➜t ✈➻ ♥â ❝❤♦ ♣❤➨♣ ♠ỉ t↔ ❝❤✐ t✐➳t ♣❤➙♥ ♣❤è✐ ❝õ❛ tø♥❣ ❝ư♠ ❞ú ❧✐➺✉✳ ❈â ❤❛✐ ✈➜♥ ✤➲ ❝➛♥ ❣✐↔✐ q✉②➳t tr♦♥❣ ❜➔✐ t♦→♥ ❧ü❛ ❝❤å♥ ♠æ ❤➻♥❤ ð ✤➙②✱ t❤ù ♥❤➜t ❧➔ ①→❝ ✤à♥❤ sè t❤➔♥❤ ♣❤➛♥ ❤❛② sè ❝ö♠ ❞ú ❧✐➺✉ ✈➔ t❤ù ❤❛✐ ❧➔ ❝❤å♥ ❜✐➳♥ ❝❤♦ ♠æ ❤➻♥❤✳ ❈→❝ ♣❤÷ì♥❣ ♣❤→♣ ❝ê ✤✐➸♥ t❤÷í♥❣ t❤ü❝ ❤✐➺♥ r✐➯♥❣ r➩ ❤❛✐ ✈➜♥ ✤➲ ♥➔② ✈➔ ✤ë ❝❤➼♥❤ ①→❝ ❝❤÷❛ ❝❛♦✳ ✣➸ t➠♥❣ t➼♥❤ ❧✐♥❤ ✤ë♥❣✱ t➼♥❤ ♠➲♠ ❞➫♦ ❝❤♦ ♠æ ❤➻♥❤✱ ♥❣÷í✐ t❛ ❝á♥ ♥❣❤✐➯♥ ❝ù✉ ❝↔ ❝→❝ tr÷í♥❣ ❤đ♣ ♠➔ ♣❤➙♥ ♣❤è✐ ❝õ❛ tø♥❣ ❝ö♠ ❞ú ❧✐➺✉ ❧➔ ❤➔♠ ❝õ❛ ỗ q z trữỡ ủ ổ ỗ q ỡ ✤÷đ❝ ✤➣ ✤÷đ❝ ①❡♠ ①➨t tr♦♥❣ ❚r❛♥ ❡t ❛❧ ❬✺✵❪ ✱ ◆♦tt ❡t ❛❧ ❬✸✽❪ ✈➔ ❱✐❧❧❛♥✐ ❡t ❛❧ ❬✺✷❪✱ tr♦♥❣ ✤â ♠➟t ✤ë ❝â ✤✐➲✉ ❦✐➺♥ p(y|z) ❝õ❛ ❜✐➳♥ ✤→♣ ù♥❣ y ♠ët ❝❤✐➲✉ ✤÷đ❝ ♠ỉ ❤➻♥❤ ❤â❛ t❤❡♦ ♠➟t ✤ë ❝õ❛ ♠ët ❤é♥ ❤ñ♣ ❝→❝ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ợ tt t tr ữỡ s ✈➔ ①→❝ s✉➜t trë♥ ❧➔ ❝→❝ ❤➔♠ t✉②➳♥ t➼♥❤ ❝õ❛ ❝→❝ ❤✐➺♣ ❜✐➳♥ z ✳ ❚r❛♥ ❡t ❛❧ ❬✺✵❪ ✤➣ ự ổ ữợ ữủ t ỗ q ✈ỵ✐ ❝→❝ ❤é♥ ❤đ♣ ❝õ❛ k ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ❝â ♣❤÷ì♥❣ s❛✐ ♣❤ư t❤✉ë❝ ✭❘❡❣r❡ss✐♦♥ ❉❡♥s✐t② ❊st✐♠❛t✐♦♥ ✇✐t❤ ▼✐①t✉r❡s ♦❢ ❦ ❍❡t❡r♦s❝❡❞❛st✐❝ ◆♦r♠❛❧s✿ ❘❉❊✲▼❍◆✭❦✮✮ k ③ ③ ③ ③ ③ πj ( )N (y|µj ( ), σj2 ( )) p(y| ) = j=1 ③ ③ tr♦♥❣ ✤â ①→❝ ①✉➜t trë♥ j ( ) tr àj ( ) ữỡ s❛✐ σj2 ( ) ❧➔ ❝→❝ ❤➔♠ ③ ③ ❝õ❛ ❝→❝ tê ❤ñ♣ t✉②➳♥ t➼♥❤ ❝õ❛ ✱ ❝→❝ πj ( ) ≥ ✈➔ ✷✾ ●r♦❧❧✱ ③) = 1✳ ❚r❛♥ ❡t ❛❧ ❬✺✵❪ k j=1 πj ( ❆♥❞r❡❛s ❛♥❞ ❚✉t③✱ ●❡r❤❛r❞ ✭✷✵✶✷✮✱ ❱❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥ ❢♦r ❣❡♥❡r❛❧✐③❡❞ ❧✐♥❡❛r ♠✐①❡❞ ♠♦❞❡❧s ❜② ▲✶✲♣❡♥❛❧✐③❡❞ ❡st✐♠❛t✐♦♥✱ ❙♣r✐♥❣❡r ❯❙✱ ✶ ✲ ✶✽✳ ✹✺ ❙❝❤❡❧❧❞♦r❢❡r✱ ❏☎ ✉r❣ ❛♥❞ ▼❡✐❡r✱ ▲✉❦❛s ❛♥❞ ❇☎ ✉❤❧♠❛♥♥✱ P❡t❡r ✭✷✵✶✸✮✱ ●▲▼▼▲❛ss♦✿ ❆♥ ❆❧❣♦r✐t❤♠ ❢♦r ❍✐❣❤✲❉✐♠❡♥s✐♦♥❛❧ ●❡♥❡r❛❧✐③❡❞ ▲✐♥❡❛r ▼✐①❡❞ ▼♦❞❡❧s ❯s✐♥❣ ❧✶✲P❡♥❛❧✐③❛t✐♦♥✱ ❛♥❞ ●r❛♣❤✐❝❛❧ ❙t❛t✐st✐❝s✳ ✺✵ ❚r❛♥✱ ❏♦✉r♥❛❧ ♦❢ ❈♦♠♣✉t❛t✐♦♥❛❧ ▼✐♥❤✲◆❣♦❝ ❛♥❞ ◆♦tt✱ ❉❛✈✐❞ ❏✳ ❛♥❞ ▲❡♥❣✱ ❈❤❡♥❧❡✐✳ ✭✷✵✶✷✮✱ ❚❤❡ ♣r❡❞✐❝t✐✈❡ ▲❛ss♦✱ ❛♥❞ ❈♦♠♣✉t✐♥❣✱ ✷✷✱ ✶✵✻✾ ✲ ✶✵✽✹✳ ✷ ❙t❛t✐st✐❝s ✤➲ ①✉➜t ♠ët t❤✉➟t t♦→♥ ♥❤❛♥❤ ❞ü❛ tr➯♥ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ tỹ ỗ tớ ỹ ỹ số t k ữợ ữủ t❤❛♠ sè✳ P❤÷ì♥❣ ♣❤→♣ ❝õ❛ ❚r❛♥ ❡t ❛❧ ❬✺✵❪ ❝â t❤➸ ❣✐↔✐ q✉②➳t ✈➜♥ ✤➲ ❝ü❝ ✤↕✐ ✤à❛ ♣❤÷ì♥❣ tr♦♥❣ ✈✐➺❝ ❧ü❛ ❝❤å♥ k ✱ ✈➔ ❝â t❤➸ →♣ ❞ö♥❣ ❝❤♦ tr÷í♥❣ ❤đ♣ ♥❤✐➲✉ ❜✐➳♥ ✭sè ❧÷đ♥❣ ❜✐➳♥ ❝â t❤➸ ợ ỡ tữợ r t ❬✺✵❪✱ ◆♦tt ❡t ❛❧ ❬✸✽❪ ✈➔ ❱✐❧❧❛♥✐ ❡t ❛❧ ❬✺✷❪ ❝❤➾ ♠ỵ✐ ♥❣❤✐➯♥ ❝ù✉ tr➯♥ ♠ỉ ❤➻♥❤ ♥➔② ✈ỵ✐ y ❧➔ ✤ì♥ ❜✐➳♥✱ ❉♦ ✤â ♠ư❝ t✐➯✉ t❤ù ❤❛✐ ❝õ❛ ❝❤ó♥❣ tỉ✐ ❧➔ ♥❣❤✐➯♥ ❝ù✉ ♠ð rë♥❣ ♠ỉ ❤➻♥❤ ♥➔② ❝❤♦ tr÷í♥❣ ❤đ♣ y ❧➔ ✤❛ ❜✐➳♥✳ tr÷í♥❣ ❤đ♣ y ❧➔ ✤❛ ❜✐➳♥ ❝❤÷❛ ✤÷đ❝ ♥❣❤✐➯♥ ❝ù✉ t❤ü❝ ❤✐➺♥✳ ❚ø ỳ ỵ tr ú tổ ố tữủ ♥❣❤✐➯♥ ❝ù✉ ❝õ❛ ❧✉➟♥ →♥ ❧➔ ❝❤å♥ ❜✐➳♥ ❝→❝ ❝❤♦ ổ ỗ q t t ộ ủ tờ qt ✭●❡♥❡r❛❧✲ ✐③❡❞ ▲✐♥❡❛r ▼✐①❡❞ ▼♦❞❡❧s✿ ●▲▼▼s✮ ✈➔ ❝→❝ ♠æ ❤➻♥❤ ỗ q t trt rss ❉❡♥s✐t② ❊st✐♠❛t✐♦♥ ✇✐t❤ ▼✐①t✉r❡s ♦❢ ◆♦r♠❛❧s ♠♦❞❡❧✿ ▼❘❉❊✲▼◆✮✳ ▲✉➟♥ →♥ sû ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ ✤➸ ①➙② ❞ü♥❣ tt t ỹ ỗ tớ ữợ ữủ t❤❛♠ sè ♠ỉ ❤➻♥❤✳ ❈ư t❤➸ ❧✉➟♥ →♥ ✤➣ ✤↕t ✤÷đ❝ ♥❤ú♥❣ ❦➳t q✉↔ ♥❤÷ s❛✉✿ ✶✳ ❈❤ó♥❣ tỉ✐ ✤➣ ①➙② ❞ü♥❣ ♠ët t❤✉➟t t♦→♥ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ ✤➸ t❤ü❝ ỗ tớ ỹ ữợ ữủ t số tr ỵ t t ữủ ✤➲ ①✉➜t ❞ü❛ tr➯♥ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ ✤➸ ÷ỵ❝ ❧÷đ♥❣ ♠ët ♠♦❞❡ ❤➟✉ ♥❣❤✐➺♠ ❦➳t ❤đ♣ ✈ỵ✐ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s t❤➼❝❤ ♥❣❤✐ ▲❛ss♦✳ P❤÷ì♥❣ ♣❤→♣ ❱❇ ♠♦❞❡ ❤➟✉ ♥❣❤✐➺♠ ❝õ❛ ❝❤ó♥❣ tỉ✐ ❝â t❤➸ ✤÷đ❝ →♣ ❞ư♥❣ ❝❤♦ ✈✐➺❝ ❧ü❛ ❝❤å♥ ❜✐➳♥ tr♦♥❣ ❝→❝ ù♥❣ ❞ö♥❣ ❦❤→❝✱ ❝❤➥♥❣ ❤↕♥ ♥❤÷ ❧ü❛ ❝❤å♥ ❤✐➺♣ ♣❤÷ì♥❣ s❛✐✳ P❤÷ì♥❣ ♣❤→♣ ❱❇●▲▼▼ ✤÷đ❝ ✤➲ ①✉➜t ❝ơ♥❣ ❝â t❤➸ ✤÷đ❝ ♠ð rë♥❣ t❤➔♥❤ ✭✐✮ ❧ü❛ ❝❤å♥ ♥❤â♠ ❜✐➳♥ tr♦♥❣ ●▲▼▼s ❜➡♥❣ ❝→❝❤ sû ❞ö♥❣ ▲❛ss♦ ♣❤↕t ♥❤â♠ ✭❨✉❛♥ ❛♥❞ ▲✐♥ ❬✺✸❪ ✮❀ ✭✐✐✮ ❧ü❛ ❝❤å♥ ❜✐➳♥ ✤÷đ❝ s➢♣ ①➳♣ tr♦♥❣ ●▲▼▼s ❜➡♥❣ ♣❤↕t t✉②➺t ✤è✐ ✸✽ ◆♦tt✱ ❉✳ ❏✳ ❛♥❞ ❚❛♥✱ ❙✳ ▲✳ ❛♥❞ ❱✐❧❧❛♥✐✱ ▼✳ ❛♥❞ ❑♦❤♥✱ ❘✳ ✭✷✵✶✶✮✱ ❘❡❣r❡ss✐♦♥ ❞❡♥s✐t② ❡st✐♠❛t✐♦♥ ✇✐t❤ ✈❛r✐❛t✐♦♥❛❧ ♠❡t❤♦❞s ❛♥❞ st♦❝❤❛st✐❝ ❛♣♣r♦①✐♠❛t✐♦♥✱ ❏♦✉r♥❛❧ ♦❢ ❈♦♠♣✉t❛t✐♦♥❛❧ ❛♥❞ ●r❛♣❤✐❝❛❧ ❙t❛t✐st✐❝s✳ ✺✷ ❱✐❧❧❛♥✐✱ ▼✳ ❛♥❞ ❑♦❤♥✱ ❘✳ ❛♥❞ ●✐♦r❞❛♥✐✱ P✳ ✭✷✵✵✾✮✱ ❘❡❣r❡ss✐♦♥ ❞❡♥s✐t② ❡st✐♠❛t✐♦♥ ✉s✐♥❣ s♠♦♦t❤ ❛❞❛♣t✐✈❡ ●❛✉ss✐❛♥ ♠✐①t✉r❡s✱ ❏♦✉r♥❛❧ ♦❢ ❊❝♦♥♦♠❡tr✐❝s✱ ✶✺✸✱ ✶✺✺ ✲ ✶✼✸✳ ✺✸ ❨✉❛♥✱ ▼✳ ❛♥❞ ▲✐♥✱ ❨✳ ✭✷✵✵✻✮✱ ▼♦❞❡❧ s❡❧❡❝t✐♦♥ ❛♥❞ ❡st✐♠❛t✐♦♥ ✐♥ r❡❣r❡ss✐♦♥ ✇✐t❤ ❣r♦✉♣❡❞ ✈❛r✐❛❜❧❡s✱ ❏♦✉r♥❛❧ ♦❢ t❤❡ ❘♦②❛❧ ❙t❛t✐st✐❝❛❧ ❙♦❝✐❡t②✱ ❙❡r✐❡s ❇✱ ✻✽✱ ✹✾ ✲ ✻✼✳ ✸ tê♥❣ ❤ñ♣ ✭❩❤❛♦ ❡t ❛❧ ❬✺✹❪ ✮✳ ✷✳ ❈❤ó♥❣ tỉ✐ ✤➲ ①✉➜t ♠ỉ ❤➻♥❤ ỗ q t ợ trë♥ ❝→❝ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ❝â ♣❤÷ì♥❣ s❛✐ ♣❤ư t❤✉ë❝ ✭▼❘❉❊✲ ▼◆✮✱ ①➙② ❞ü♥❣ t❤✉➟t t♦→♥ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ t❤ü❝ ỗ tớ ữợ ữủ t số ①→❝ ✤à♥❤ sè t❤➔♥❤ ♣❤➛♥ ❝õ❛ ♠æ ❤➻♥❤✳ ◆ë✐ ❞✉♥❣ ỗ ữỡ ữỡ ởt số ❦❤→✐ ♥✐➺♠ ✈➔ ❦➳t q✉↔ ❝ì ❜↔♥ ❈❤÷ì♥❣ ✷✿ ❈❤å♥ ổ ỗ q t t ủ tờ qt ữỡ ổ ỗ q t ♥❤✐➲✉ ❜✐➳♥ ❧✐♥❤ ✤ë♥❣ ❈❤÷ì♥❣ ✶✿ ❑✐➳♥ t❤ù❝ ❝❤✉➞♥ ❜à ✶✳✶ ▼ët sè ♣❤➙♥ ♣❤è✐ t❤÷í♥❣ ❣➦♣ ▼ët sè ♣❤➙♥ ♣❤è✐ t❤÷í♥❣ ❣➦♣ ♥❤÷ ♣❤➙♥ ♣❤è✐ ❇❡t❛✱ ●❛♠♠❛✱ ●❛♠♠❛ ♥❣÷đ❝✱ ❝❤✉➞♥ ♠ët ❝❤✐➲✉✱ ❝❤✉➞♥ ♥❤✐➲✉ ❝❤✐➲✉ ✈➔ ♣❤➙♥ ♣❤è✐ ❲✐s❤❛rt ❧➔ ♥❤ú♥❣ ♣❤➙♥ ♣❤è✐ q✉❛♥ trå♥❣ ✤÷đ❝ ✤➲ ❝➟♣ ✤➳♥ tr ụ ổ ỗ q✉② t✉②➳♥ t➼♥❤ tê♥❣ q✉→t ✶✳✷✳✶ ❍å ♠ô ●✐↔ sû ❜✐➳♥ ♥❣➝✉ ♥❤✐➯♥ Y ❝â ♣❤➙♥ ♣❤è✐ ①→❝ s✉➜t ♣❤ö t❤✉ë❝ ✈➔♦ t❤❛♠ sè η ✱ ✤÷đ❝ ❣å✐ ❧➔ t❤✉ë❝ ❤å ♠ô ♥➳✉ ❤➔♠ ♠➟t ✤ë ❝â ❞↕♥❣ f (y|η) = exp ✺✹ ❩❤❛♦✱ yη − ζ(η) + c(y, φ) , φ P✳✱ ❘♦❝❤❛✱ ●✳ ❛♥❞ ❨✉✱ ❇✳ ✭✷✵✵✾✮✱ ❚❤❡ ❝♦♠♣♦s✐t❡ ❛❜s♦❧✉t❡ ♣❡♥❛❧t✐❡s ❢❛♠✐❧② ❢♦r ❣r♦✉♣❡❞ ❛♥❞ ❤✐❡r❛r❝❤✐❝❛❧ ✈❛r✐❛❜❧❡ s❡❧❡❝t✐♦♥✳ ❚❤❡ ❆♥♥❛❧s ♦❢ ❙t❛t✐st✐❝s✱ ✸✼✱ ✸✹✻✽ ✲ ✸✹✾✼✳ ✹ tr♦♥❣ ✤â η ✤÷đ❝ ❣å✐ ❧➔ t❤❛♠ sè ❝❤➼♥❤ t➢❝ ❝õ❛ ❤å ♠ô✱ φ ❧➔ t❤❛♠ sè t✛ ❧➺✱ ζ(·) ✈➔ c(·) ❧➔ ❝→❝ ❤➔♠ ✤➣ ❜✐➳t✳ ❈→❝ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ♠ët ❝❤✐➲✉✱ ♥❤à t❤ù❝ ✈➔ P♦✐ss♦♥ ✤➲✉ t❤✉ë❝ ❤å ♠ô✳ ổ ỗ q t t tờ qt ú t tữớ q tở ợ ổ ỗ q t t➼♥❤ t❤ỉ♥❣ t❤÷í♥❣ ✭❦❤✐ ❜✐➳♥ ♣❤ư t❤✉ë❝ y ❧➔ ❜✐➳♥ tử ổ ỗ q st y ❧➔ ❜✐➳♥ ♥❤à ♣❤➙♥✮✳ ●▲▼s ✭●❡♥❡r❛❧✐③❡❞ ❧✐♥❡❛r ♠♦❞❡❧s✮ ❧➔ ♠ët ợ ổ ỗ q t t tờ qt ❝❤♦ ♥❤✐➲✉ ❦✐➸✉ ❞ú ❧✐➺✉ ❝õ❛ ❜✐➳♥ ♣❤ö t❤✉ë❝ y ❝â ♣❤➙♥ ♣❤è✐ t❤✉ë❝ ❤å ♠ơ✱ ✤÷đ❝ tr➻♥❤ ❜➔② tr♦♥❣ ◆❡❧❞❡r ❛♥❞ ❲❡❞❡r❜✉r♥ ❬✸✼❪ ✈➔ ❆♥♥❡tt❡ ❛♥❞ ❆❞r✐❛♥ ❬✶✷❪ ✳ ●✐↔ sû y = (y1 ,y2 , ,yn ) ✱ ổ ỗ q t t tờ qt ữủ ✤à♥❤ ❜ð✐ ❜❛ t❤➔♥❤ ♣❤➛♥✿ ✲ ❍➔♠ ♠➟t ✤ë t❤✉ë❝ ❤å ♠ô f (yi |β) = exp yi ηi −ζ(ηi ) +c(yi ,φ) , φ tr♦♥❣ ✤â ηi ,i=1,2, ,n ❧➔ t❤❛♠ sè ❝❤➼♥❤ t➢❝ ❝õ❛ ❤å ♠ô❀ t❤❛♠ sè t✛ ❧➺ φ ❝â t❤➸ ✤➣ ❜✐➳t ❤♦➦❝ ❝❤÷❛ ❜✐➳t✱ ζ(·) ✈➔ c(·) ❧➔ ❝→❝ ❤➔♠ ✤➣ ❜✐➳t✳ ✲ ❚❤➔♥❤ ♣❤➛♥ t✉②➳♥ t➼♥❤ η = Xβ tr♦♥❣ ✤â η = (η1 ,η2 , ,ηn ) ❀ β ❧➔ p✲✈❡❝t♦r ❤➺ số ữ ố X nìp tr tt ự ợ tố ữ ố ✲ ❍➔♠ ❧✐➯♥ ❦➳t ❚❤❛♠ sè ❝❤➼♥❤ t➢❝ ηi ❧✐➯♥ ỡ tr ợ ý õ ài =E(yi |β) t❤ỉ♥❣ q✉❛ ❤➔♠ ❧✐➯♥ ❦➳t g(·)❀ g(µi ) = ηi ✈ỵ✐ i = 1,2, ,n✳ ❍➔♠ ❧✐➯♥ ❦➳t ữủ tũ tở ỗ q ◆❡❧❞❡r ❏✳❆✳ ❛♥❞ ❲❡❞❡r❜✉r♥ ❘✳ ❲✳ ▼✳ ✭✶✾✼✷✮✱ ●❡♥❡r❛❧✐③❡❞ ❧✐♥❡❛r ♠♦❞❡❧s✱ ❙t❛t✐st✐❝❛❧ ❙♦❝✐❡t② ❙❡r✐❡s ❆ ✶✸✺✱ ✸✼✵ ✲ ✸✽✹✳ ✶✷ ❆♥♥❡tt❡ ❏♦✉r♥❛❧ ♦❢ t❤❡ ❘♦②❛❧ ❏✳ ❉♦❜s♦♥ ❛♥❞ ❆❞r✐❛♥ ● ❇↔♥❡tt ✭✷✵✵✽✮✱ ❆♥ ■♥tr♦❞✉❝t✐♦♥ t♦ ●❡♥❡r❛❧✐③❡❞ ▲✐♥❡❛r ▼♦❞❡❧s✱ ❚❛②❧♦r ❋r❛♥❝✐s ●r♦✉♣ ❇♦❝❛ ❘❛t♦♥ ▲♦♥❞♦♥ ◆❡✇ ❨♦r❦✳ ✺ ✶✳✸ ▼æ ❤➻♥❤ ỗ q trở r trữớ ủ ổ ỳ ữủ t s tứ ởt q t ổ ỗ t t ổ ỗ q trở ũ ủ t ✭▼✐①t✉r❡ ♦❢ ❘❡❣r❡ss✐♦♥ ▼♦❞❡❧s✿ ▼❘▼s✮✳ ❈❤♦ Y ❧➔ ♠ët ❜✐➳♥ ✤→♣ ù♥❣ ✤÷đ❝ q✉❛♥ t➙♠ ✈➔ z = (z1 ,z2 , ,zn ) ❧➔ ✈❡❝t♦r ❝→❝ ❤✐➺♣ ❜✐➳♥ ✤÷đ❝ ❝❤♦ ❧➔ ❝â ↔♥❤ ❤÷ð♥❣ ✤➳♥ Y ✳ ❚❛ ♥â✐ (z,Y ) t✉➙♥ t❤❡♦ ▼❘▼s ♥➳✉ ❤➔♠ ♠➟t ✤ë ❝â ✤✐➲✉ ❦✐➺♥ ❝õ❛ Y ✤÷đ❝ ❝❤♦ ❜ð✐ z ❝â ❞↕♥❣ K πk f (y|θk (z),φk ), p(y|z,Ψ) = k=1 tr♦♥❣ ✤â f (y|θ,φ) t❤✉ë❝ ♠ët ❤å ❝→❝ ❤➔♠ ♠➟t ✤ë ❝õ❛ Y ✱ K ❧➔ sè t❤➔♥❤ ♣❤➛♥✱ θk (z)=g(x βk ) ợ k=1,2, ,K ữủ t g(·)✱ Ψ=(β1 , ,βK ,Φ,π) ✈ỵ✐ β k =(βk1 ,βk2 , ,βkp ) ✱ Φ=(φ1 ,φ2 , ,φK ) ✈➔ π =(π1 ,π2 , ,πK−1 ) s❛♦ ❝❤♦ πk >0 ✈➔ K k=1 πk = 1✳ ❈→❝ πk , k = 1,2, ,K ✤÷đ❝ ❣å✐ ❧➔ ①→❝ s✉➜t trë♥✳ ❍➔♠ ❧✐➯♥ ❦➳t g(·) ✤÷đ❝ ①→❝ ✤à♥❤ t❤❡♦ ❞↕♥❣ ❝õ❛ f (y|θ,φ) ❧➔ ❈❤✉➞♥✱ ◆❤à t❤ù❝ ❤❛② P♦✐ss♦♥✳ ✶✳✹ P❤÷ì♥❣ ♣❤→♣ ❜✐➳♥ ♣❤➙♥ ❇❛②❡s ❙✉② ❧✉➟♥ ❇❛②❡s ✈➲ p(θ|y) ✤÷đ❝ ❞ü❛ ỵ s p(|y) = p()p(y|) p(y) ✣✐➲✉ q✉❛♥ trå♥❣ ❧➔ ♣❤➙♥ ♣❤è✐ ❤➙✉ ♥❣❤✐➺♠ p(θ|y) t❤÷í♥❣ ❧➔ ♣❤➙♥ ♣❤è✐ ❦❤ỉ♥❣ ❜✐➳t ♠➔ ♣❤↔✐ sû ❞ư♥❣ ♠ët ♣❤÷ì♥❣ ♣❤→♣ ①➜♣ ①➾ ✤➸ ①➜♣ ①➾ ♥â✳ P❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ ✭❱❛r✐❛t✐♦♥❛❧ ❇❛②❡s✐❛♥✿ ❱❇✮ ❧➔ ❝→❝ ❦ÿ t❤✉➟t ①➜♣ ①➾ ♣❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tr♦♥❣ s✉② ❧✉➟♥ ❇❛②❡s ✭①❡♠ ❖r♠❡r♦❞ ❛♥❞ ❲❛♥❞ ❬✹✵❪ ✱ ❈❤÷ì♥❣ ✶✵ ❈❤r✐st♦♣❤❡r ▼✳ ❇✐s❤♦♣ ❬✶✼❪ ✮✳ ✹✵ ❖r♠❡r♦❞✱ ❏✳ ❚✳ ❛♥❞ ❲❛♥❞✱ ▼✳ P✳ ✭✷✵✶✵✮✱ ❊①♣❧❛✐♥✐♥❣ ❱❛r✐❛t✐♦♥❛❧ ❆♣♣r♦①✐♠❛t✐♦♥s✱ ❆♠❡r✐❝❛♥ ❙t❛t✐st✐❝❛❧ ❆ss♦❝✐❛t✐♦♥✱ ✻✹✱ ✶✹✵ ✲ ✶✺✸✳ ✶✼ ❈❤r✐st♦♣❤❡r ▼✳ ❇✐s❤♦♣✳ ✭✷✵✵✻✮ ✱ P❛tt❡r♥ ❘❡❝♦❣♥✐t✐♦♥ ❛♥❞ ▼❛❝❤✐♥❡ ▲❡❛r♥✐♥❣✱ ❇✉s✐♥❡ss ▼❡❞✐❛✱ ▲▲❈✳✳ ✻ ❏♦✉r♥❛❧ ♦❢ t❤❡ ❙♣r✐♥❣❡r ❙❝✐❡♥❝❡ ✰ ✶✳✹✳✶ ❈ì sð t♦→♥ ❤å❝ ●✐↔ sỷ õ ỳ y ợ ủ ỵ p(y|) tr♦♥❣ ✤â θ ∈ Rd ❧➔ t❤❛♠ sè ❝❤÷❛ ❜✐➳t ✈➔ ♣❤➙♥ ♣❤è✐ t✐➯♥ ♥❣❤✐➺♠ ❝õ❛ θ ❧➔ p(θ)✳ P❤÷ì♥❣ ♣❤→♣ ❱❇ ①➜♣ ①➾ ♣❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ p(θ|y) ∝ p(θ)p(y|θ) ❜ð✐ ♠ët ❤➔♠ ♠➟t ✤ë q(θ) ❝õ❛ θ tr♦♥❣ ởt ợ ố ỷ ỵ q() ữủ s❛♦ ❝❤♦ ❝ü❝ t✐➸✉ ❦❤♦↔♥❣ ❝→❝❤ ❑✉❧❧❜❛❝❦✲▲❡✐❜❧❡r ❣✐ú❛ q(θ) ✈➔ p(θ|y)✿ ❑▲(q p) = q(θ) log q(θ) dθ, p(θ|y) ✭✶✳✶✮ tữỡ ữỡ ợ ỹ L(q) = q() log p(y, θ) dθ q(θ) ✭✶✳✷✮ ●✐↔ sû q(θ) ✤÷đ❝ ❦❤❛✐ tr✐➸♥ t❤➔♥❤ K ❦❤è✐ q(θ) = q1 (θ1 )× ×qK (θK )✳ P❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ s➩ ❝❤♦ t❛ ❝ỉ♥❣ t❤ù❝ ①➜♣ ①➾ ❝→❝ qτi∗ (θi ) ✈ỵ✐ i = 1, ,K ❧➔ qτi∗ (θi ) ≈ pi (θi |y) = pi (y, θi ) ∝ exp E−θi (log p(y, θ)) pi (y, θi )dθi ✭✶✳✾✮ ◗✉→ tr➻♥❤ ❝➟♣ ♥❤➟t ❝→❝ t❤❛♠ sè ❝õ❛ qτi∗ (θi ) t❤❡♦ ❝æ♥❣ t❤ù❝ ✶✳✾ s➩ ❧➔♠ t➠♥❣ ❣✐→ trà ❝õ❛ L(q)✳ ❚ø ✤â ❝â t❤✉➟t t♦→♥ ❱❇ tê♥❣ q✉→t ❝â ❞↕♥❣✿ ✶✳ ❑❤ð✐ trà τi ✈ỵ✐ i = 1, ,K ✳ ✷✳ ▲➛♥ ❧÷đt ❝➟♣ ♥❤➟t ❝→❝ τi t❤❡♦ ❦➳t q✉↔ ♥❤➟♥ ữủ tứ ữợ ❦❤✐ ❤ë✐ tö✳ ✣✐➲✉ ❦✐➺♥ ❞ø♥❣ ❝â t❤➸ ❞ü❛ ✈➔♦ sü ❝↔✐ t❤✐➺♥ L(q) ❤♦➦❝ ❞ü❛ ✈➔♦ sü ❤ë✐ tö ❝õ❛ t❤❛♠ sè ❝❤➼♥❤ ♥➔♦ ✤â q✉❛ ❝→❝ ✈á♥❣ ❧➦♣✳ ❚✉② t❤✉ë❝ ✈➔♦ ♣❤➙♥ ♣❤è✐ qτi∗ (θi ) ❝â t❤✉ë❝ ❝→❝ ♣❤➙♥ ♣❤è✐ ✤➣ ❜✐➳t ❤❛② ❦❤æ♥❣ ♠➔ t❛ ❝â ❤❛✐ ❞↕♥❣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ ❧➔ ▼❋❱❇ ✈➔ ❋❋❱❇✳ ✶✳✹✳✷ ❚r÷í♥❣ ❤đ♣ ▼❋❱❇ ❚r÷í♥❣ ❤đ♣ ♥➔② pi (θi |y) t❤✉ë❝ ♠ët ❤å ♣❤➙♥ ♣❤è✐ ❝â t❤➸ ♥❤➟♥ ❜✐➳t ✤÷đ❝ ♥➯♥ t❤æ♥❣ q✉❛ ✭✶✳✾✮ s➩ ❝❤♦ t❛ ❞↕♥❣ ❤➔♠ ♠➟t ✤ë ❝õ❛ θi t❤✉ë❝ ♠ët ❧ỵ♣ ♣❤➙♥ ♣❤è✐ ♥➔♦ ✤â ✤➣ ❜✐➳t✱ t❛ ❝â t❤➸ ❞➵ ❞➔♥❣ ①→❝ ✤à♥❤ t❤❛♠ sè τi∗ ❝õ❛ qτi∗ (θi ) ❝❤➼♥❤ ❧➔ ❝→❝ t❤❛♠ sè ✤➦❝ tr÷♥❣ ❝õ❛ ♣❤➙♥ ♣❤è✐ ♥➔②✳ ✼ ✶✳✹✳✸ ❚r÷í♥❣ ❤đ♣ ❋❋❱❇ ❚r÷í♥❣ ❤đ♣ ♥❛② pi (θi |y) ❦❤ỉ♥❣ t❤✉ë❝ ♠ët ❤å ♣❤➙♥ ♣❤è✐ ❝â t❤➸ ♥❤➟♥ ❜✐➳t ✤÷đ❝ ♥➯♥ t❤ỉ♥❣ q✉❛ ✭✶✳✾✮ ❞↕♥❣ ❤➔♠ ♠➟t ✤ë ❝õ❛ θi s➩ ❦❤æ♥❣ t❤✉ë❝ ♠ët ❧ỵ♣ ♣❤➙♥ ♣❤è✐ ♥➔♦ ✤â ✤➣ ❜✐➳t ♥➯♥ t❛ ❦❤æ♥❣ ①→❝ ✤à♥❤ t❤❛♠ sè τi∗ ❝õ❛ qτi∗ (θi ) ♥❤÷ tr♦♥❣ tr÷í♥❣ ❤đ♣ ▼❋❱❇ ♠➔ ❝➛♥ ❝❤å♥ ❝❤♦ qi (i ) ởt ố ố rỗ →♣ ❞ư♥❣ ♠ët ❦ÿ t❤✉➟t ❣✐↔✐ ❜➔✐ t♦→♥ tè✐ ÷✉ ✭✶✳✶✮ ❤♦➦❝ ✭✶✳✷✮✳ ✶✳✺ ▼ët sè t❤✉➟t t♦→♥ tè✐ ÷✉ sû ❞ö♥❣ tr♦♥❣ ❧✉➟♥ →♥ ❚r♦♥❣ ❧✉➟♥ →♥ ♥➔② ✤➣ sû ❞ö♥❣ t❤✉➟t t♦→♥ ◆❡✇t♦♥ ✲ ❘❛♣❤s♦♥✱ t❤✉➟t t♦→♥ ①➜♣ tt t t ữợ ✶✳✺✳✶ ❚❤✉➟t t♦→♥ ◆❡✇t♦♥ ✲ ❘❛♣❤s♦♥ ❚❤✉➟t t♦→♥ ◆❡✇t♦♥ ✲ ❘❛♣❤s♦♥ ✤÷đ❝ sû ❞ư♥❣ ✤➸ t➻♠ ♥❣❤✐➺♠ ①➜♣ ①➾ ❝õ❛ ♣❤÷ì♥❣ tr➻♥❤ f (x) = 0✳ ✶✳✺✳✷ ❚❤✉➟t t♦→♥ ①➜♣ ①➾ ♥❣➝✉ ♥❤✐➯♥ ❝❤♦ ❋❋❱❇ ❙❛❧✐♠❛♥s ❛♥❞ ❑♥♦✇❧❡s ❬✹✸❪ ✤➣ ✤➲ ①✉➜t ♣❤÷ì♥❣ ♣❤→♣ ①➜♣ ①➾ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ tr÷í♥❣ ❤đ♣ ❋❋❱❇✳ ✣➦t C = Eq [T (θ) T (θ)] ✈➔ g = Eq [T (θ) logp(θ,y)]✳ ❑❤✐ ✤â η =C −1 g ✳ ❙❛❧✐♠❛♥s ❛♥❞ ❑♥♦✇❧❡s ❬✹✸❪ ❝➟♣ ♥❤➟t C ✈➔ g t❤❡♦ trå♥❣ sè ▼♦♥t❡ ❈❛r❧♦✱ t↕♦ ♠➝✉ ✤ì♥ θt∗ tø ♣❤➙♥ ♣❤è✐ ①➜♣ ①➾ ❤➟✉ ♥❣❤✐➺♠ qηt (θ) t↕✐ ♠é✐ ✈á♥❣ ❧➦♣ t✱ ✈➔ sû ❞ư♥❣ ❝→❝ ❝ỉ♥❣ t❤ù❝ ❝➟♣ ♥❤➟t gt+1 = (1−w)gt +wˆ gt Ct+1 = (1−w)Ct +wCˆt ✭✶✳✷✸✮ ˆt = T (θt∗ ) T (t ) w ữủ ố ợ ởt số w ∈[0;1] tr♦♥❣ ✤â gˆt = T (θt∗ ) logp(θt∗ ,y) ✈➔ C ❝❤å♥ ✤õ ❜➨ s❛♦ ❝❤♦ ✤↔♠ ❜↔♦ sü ❤ë✐ tö ❝õ❛ t❤✉➟t t♦→♥✳ ✹✸ ❙❛❧✐♠❛♥s✱ ❚✳ ❛♥❞ ❑♥♦✇❧❡s✱ ❉✳ ❆✳ ✭✷✵✶✸✮✱ ❋✐①❡❞✲❢♦r♠ ✈❛r✐❛t✐♦♥❛❧ ♣♦st❡r✐♦r ❛♣♣r♦①✐♠❛t✐♦♥ t❤r♦✉❣❤ st♦❝❤❛st✐❝ ❧✐♥❡❛r r❡❣r❡ss✐♦♥✳ ❊r❛s♠✉s ❯♥✐✈❡rs✐t② ❘♦tt❡r❞❛♠✳ ✽ tr♦♥❣ ✤â ηij ❧➔ t❤❛♠ sè ❝❤➼♥❤ t➢❝ ❧✐➯♥ ❤➺ ✤ì♥ trà ✈ỵ✐ ❦ý ✈å♥❣ ❝â ✤✐➲✉ ❦✐➺♥ µij = E(yij |β,bi ) t❤ỉ♥❣ q✉❛ ❤➔♠ ❧✐➯♥ ❦➳t g(·)✱ g(µij ) = ηij ✳ ❱❡❝t♦r ❤➺ sè ↔♥❤ ❤÷ð♥❣ ❝è ✤à♥❤ ❧➔ β = (β0 ,β1:p ) ✈ỵ✐ β0 ❧➔ ❤➺ sè ❝❤➦♥ ✈➔ β1:p = (β1 , ,βp ) ✳ ❚❤❛♠ sè t✛ ❧➺ φ ❝â t❤➸ ✤➣ ❜✐➳t ❤♦➦❝ ❝❤÷❛ ❜✐➳t✱ ζ(·) ✈➔ c(·) ❧➔ ❝→❝ ❤➔♠ ✤➣ ❜✐➳t✳ ❱❡❝t♦r ηi =(ηi1 , ,ηini ) ✤÷đ❝ ♠ỉ ❤➻♥❤ ❧➔ ηi = β0 1ni +X i β1:p +Z i bi ✱ tr♦♥❣ ✤â 1ni tr ỗ t X i ởt ni ìp tr tt ố ợ tố ↔♥❤ ❤÷ð♥❣ ❝è ✤à♥❤ ✈➔ Z i ❧➔ ♠ët ni ×u ♠❛ tr➟♥ t❤✐➳t ❦➳ ✤è✐ ✈ỵ✐ ②➳✉ tè ↔♥❤ ữ tr õ u tữợ bi ủ ỵ õ õ tè ↔♥❤ ❤÷ð♥❣ ♥❣➝✉ ♥❤✐➯♥ b ❧➔ m ni f (yij |β, bi ) = exp p(y|β, b, φ) = i=1 j=1 (y η − ζ(η)) + c(y, φ) , φ tr♦♥❣ ✤â ζ(η) ✤÷đ❝ ❤✐➸✉ ❧➔ ❤➔♠ t→❝ ✤ë♥❣ tr➯♥ tø♥❣ t❤➔♥❤ ♣❤➛♥✳ ❈❤ó♥❣ tỉ✐ ①❡♠ ①➨t s s ợ ổ ữ s ✭✷✳✶✮ y|β,b,φ ∼ p(y|β,b,φ), b|Q ∼ N (0,Q−1 b ), Q ∼ ❲✐s❤❛rt(S0 ,ν0 ), p(β0 ) ∼ 1, λj exp(−λj |βj |), j = 1, ,p, sr (λj )r−1 exp(−sλj ), λj ∼ ●❛♠♠❛(r,s) = Γ(r) βj |λj (j ) = Pữỡ ữợ ữủ ♠♦❞❡ ❤➟✉ ♥❣❤✐➺♠ ●✐↔ sû θ = (θ1 ,θ2 )✱ tr♦♥❣ ✤â θ1 ❧➔ ✈❡❝t♦r ❝õ❛ ❝→❝ t❤❛♠ sè ♠➔ ♠♦❞❡ ❤➟✉ ♥❣❤✐➺♠ ❝õ❛ ❝❤ó♥❣ ✤❛♥❣ ✤÷đ❝ q✉❛♥ t➙♠ ✱ ✈➔ θ2 ❧➔ ♠ët ✈❡❝t♦r ❝õ❛ ❝→❝ t❤❛♠ sè ❦❤→❝✳ ❑❤✐ ✤â ♣❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ ❱❇ ❝â ❞↕♥❣ q(θ) = δτ1 (θ1 )qτ2 (θ2 ), ✭✷✳✸✮ ✈ỵ✐ δτ1 (θ1 ) ❧➔ ♠ët ♠➟t ✤ë ❦❤è✐ t➟♣ tr✉♥❣ t↕✐ τ1 s ữợ ữủ ❝õ❛ θ1 ✳ ❈æ♥❣ t❤ù❝ ❝➟♣ ♥❤➟t τ1∗ ✈➔ τ2∗ s➩ ❧➔ ✶✵ τ1∗ (τ2 ) = arg max τ1 qτ2 (θ2 ) log p(y, τ1 , θ2 )dθ2 , ✈➔ τ2∗ (τ1 ) = arg max qτ2 (θ2 ) log τ2 p(y, τ1 , θ2 ) dθ2 qτ2 (θ2 ) ✭✶✳✹✬✮ ✭✶✳✻✬✮ ✷✳✹ P❤÷ì♥❣ ♣❤→♣ ❱❇ ✤➸ ❝❤å♥ ữợ ữủ t số s ữợ ữủ t số s ữủ tỹ ỗ tớ tt t p q() = q()q(Q)q()q(b) ✭✷✳✹✮ q(λj ), j=1 tr♦♥❣ ✤â ❝❤ó♥❣ tỉ✐ ❝❤å♥ q(β) = δβ q (β) ✈➔ q(b) ❧➔ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ợ tr àqb tr ữỡ s Σqb ✳ ✷✳✹✳✶ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ứ ổ tự ữợ ữủ q ✤÷đ❝ ❝➟♣ ♥❤➟t ❜ð✐ p β q = argmax [ ] β φ y η−1 ζ(η)) q(b)db− j=1 [λj ]|βj | , tr õ ỵ ý ợ ❤➟✉ ♥❣❤✐➺♠ ❱❇ t÷ì♥❣ ù♥❣✳ ✣➦t f (β) = [ ] φ ζ(η)) − y η q(b)db ✭✷✳✻✮ õ tữỡ ữỡ ợ q = arg F (β) = f (β) + β p j=1 [λj ]|βj | ✭✷✳✼✮ ❈❤ó♥❣ tỉ✐ →♣ ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ ✤↕♦ ❤➔♠ t❤❡♦ ữợ rt rt st s t ✭①❡♠ ❙❝❤❡❧❧❞♦r❢❡r ❡t ❛❧ ❬✹✺❪✮ ✤➸ ❣✐↔✐ q✉②➳t ❜➔✐ t♦→♥ ✭✷✳✼✮✳ ✶✶ ✷✳✹✳✷ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ b rữớ ủ ỗ q q q ứ ổ tự ữủ q(b) N (àb ,b ) ✈ỵ✐ ]Z Z σ2 −1 Σqb = [Qb ] + [ µqb = [ ] y Z − β X Z Σqb , σ , ❚r÷í♥❣ ủ ỗ q t 1 h(b) = b [Qb ]b+[ ](y η−1 ζ(η)), φ ❦❤✐ ✤â q(b) ∝ eh(b) ✱ ❝❤ó♥❣ tỉ✐ sû ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ ①➜♣ ①➾ ●❛✉ss ✤➸ ①➜♣ ①➾ q(b) q q ❜➡♥❣ ố ợ tr àb tr ❤✐➺♣ ♣❤÷ì♥❣ s❛✐ Σb ✤÷đ❝ ❝➟♣ ♥❤➟t t❤❡♦ ❝ỉ♥❣ t❤ù❝ àqb =b , qb ă ) Z + [Qb ] = [ ]Z ❞✐❛❣ ζ(η φ −1 ✭✷✳✾✮ tr♦♥❣ ✤â η ∗ =Xβ q +Zb∗ ✈➔ b ữủ ữỡ ts ợ ❤➔♠ ❜➟❝ ♥❤➜t ✈➔ ❜➟❝ ❤❛✐ ❝õ❛ h(b) ❧➔ u(b) ✈➔ H(b)✳ ✷✳✹✳✸ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ Q ❚ø ❝ỉ♥❣ t❤ù❝ ✭✶✳✾✮ ♥❤➟♥ ✤÷đ❝ q(Q) ∼ ❲✐s❤❛rt(S q ,ν q ) ✈ỵ✐ ν q ✈➔ S q ✤÷đ❝ ❝➟♣ ♥❤➟t t❤❡♦ ❝ỉ♥❣ t❤ù❝ −1 m ν q = ν0 + m, S q = (µqbi µqbi S0−1 + + Σqbi ) ✭✷✳✶✵✮ , i=1 ✷✳✹✳✹ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ q q λ q q ❚ø ❝ỉ♥❣ t❤ù❝ ✭✶✳✾✮ ♥❤➟♥ ✤÷đ❝ q(λj )∼ (j ,j ) ợ j j ữủ t t❤❡♦ ❝æ♥❣ t❤ù❝ αλq j = r + 1, βλq j = |βjq | + s, ✶✷ ✭✷✳✶✶✮ ✷✳✹✳✺ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ φ ❚r♦♥❣ ♥❤✐➲✉ trữớ ủ ữ ỗ q Pss ỗ q t❤➻ φ ❧➔ ♠ët ❤➡♥❣ sè ✤➣ ❜✐➳t✳ ❚r♦♥❣ ♥❤ú♥❣ tr÷í♥❣ ❤đ♣ ❦❤→❝✱ ❝❤ó♥❣ t❛ ❝â t❤➸ ✤➦t ♠ët ♣❤➙♥ ♣❤è✐ t✐➯♥ ♥❣❤✐➺♠ t❤➼❝❤ ❤ñ♣ tr➯♥ φ ✤➸ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ q(φ) ∝ exp E−φ (log p(y, θ)) , ✭✷✳✶✷✮ t❤✉ë❝ ❤å ♣❤➙♥ ♣❤è✐ ❝â t❤➸ ♥❤➟♥ ❜✐➳t ữủ ỹ s t số ố ợ t✐➯♥ ♥❣❤✐➺♠ ❝❤♦ λj ✱ ♥❣÷í✐ t❛ ❝â t❤➸ sû ❞ö♥❣ t✐➯♥ ♥❣❤✐➺♠ p(λj ) ∝ 1/λj ✱ ♥❣❤➽❛ ❧➔ r =s=0✳ ❚r♦♥❣ ❧✉➟♥ →♥ ♥➔②✱ ❝❤ó♥❣ tỉ✐ sû ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ t❤ü❝ ♥❣❤✐➺♠ ❇❛②❡s ♥❤÷ tr♦♥❣ P❛r❦ ❛♥❞ ❈❛s❡❧❧❛ ❬✹✶❪ ✈➔ ▲❡♥❣ ❡t ❛❧ ❬✸✹❪ ✤➸ ❝❤å♥ r✳ ❱✐➺❝ ❝➟♣ ♥❤➟t t❤❛♠ sè s ❝â ♣❤➛♥ ❞➵ ❤ì♥✱ ❝â t❤➸ ✤➦t ♠ët ♣❤➙♥ ♣❤è✐ t✐➯♥ ♥❣❤✐➺♠ ●❛♠♠❛ tr➯♥ s✱ ❦❤✐ ✤â ♣❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝õ❛ s ❝ơ♥❣ ❧➔ ♠ët ♣❤➙♥ ♣❤è✐ ●❛♠♠❛✳ ❚✉② ♥❤✐➯♥✱ ❝❤ó♥❣ tỉ✐ ♥❤➙♥ t❤➜② r➡♥❣ ✤è✐ ✈ỵ✐ ❜➔✐ t♦→♥ ❝❛♦ ❝❤✐➲✉ t❤➻ ❝è ✤à♥❤ s ♥❤ú♥❣ ❣✐→ trà r➜t ❜➨ s➩ ❝❤♦ ❦➳t q✉↔ tèt ❤ì♥✳ ✷✳✹✳✼ ❚❤✉➟t t♦→♥ ❱❇ ❙❛✉ ❦❤✐ ①➙② ❞ü♥❣ ✤÷đ❝ ❝→❝ ❝ỉ♥❣ t❤ù❝ ✤➸ ❝➟♣ ♥❤➟t ❝→❝ t❤❛♠ sè ♥❤÷ tr➯♥✱ ❝❤ó♥❣ tỉ✐ ❝â t❤✉➟t t♦→♥ tỹ ỗ tớ ÷ỵ❝ ❧÷đ♥❣ t❤❛♠ sè ❝❤♦ ♠ỉ ❤➻♥❤ ●▲▼▼s✳ ❚❤✉➟t t♦→♥ ❱❇●▲▼▼✳ ✶✳ ❑❤ð✐ trà β q ✈➔ S q ✭✈➔ q(φ) ♥➳✉ ❝â →♣ ❞ö♥❣✮✳ q q ✷✳ ❈➟♣ ♥❤➟t αλj ✈➔ βλj t❤❡♦ ✭✷✳✶✶✮✳ q q ✸✳ ❈➟♣ ♥❤➟t µb ✈➔ Σb t❤❡♦ ✭✷✳✾✮ ❏♦✉r♥❛❧ ♦❢ t❤❡ ❆♠❡r✐❝❛♥ ❙t❛t✐st✐❝❛❧ ❆ss♦❝✐❛✲ ✹✶ P❛r❦✱ ❚✳ ❛♥❞ ❈❛s❡❧❧❛✱ ●✳ ✭✷✵✵✽✮✱ ❚❤❡ ❇❛②❡s✐❛♥ ▲❛ss♦✱ ✹✶ ▲❡♥❣✱ ❈✳ ❛♥❞ ❚r❛♥✱ ▼✳✲◆✳ ❛♥❞ ◆♦tt✱ ❉✳ ❏✳ ✭✷✵✶✸✮✱ ❇❛②❡s✐❛♥ ❛❞❛♣t✐✈❡ ▲❛ss♦✱ t✐♦♥✱ ✶✵✸✱ ✻✽✶ ✲ ✻✽✻✳ ■♥st✐t✉t❡ ♦❢ ❙t❛t✐st✐❝❛❧ ▼❛t❤❡♠❛t✐❝s✳ ✶✸ ❚❤❡ ❆♥♥❛❧s ♦❢ t❤❡ ✹✳ ❈➟♣ ♥❤➟t S q t❤❡♦ ✭✷✳✶✵✮✳ ✺✳ ❈➟♣ ♥❤➟t β q t❤❡♦ ✭✷✳✺✮✳ ✻✳ ❈➟♣ ♥❤➟t q(φ) ✭♥➳✉ ❝â →♣ ữợ ❤ë✐ tư✳ ✷✳✺ Ù♥❣ ❞ư♥❣ ✷✳✺✳✶ ◆❣❤✐➯♥ ❝ù✉ ♠ỉ ♣❤ä♥❣ ❚r♦♥❣ ♣❤➛♥ ♥➔②✱ ❝❤ó♥❣ tỉ✐ ♠ỉ ♣❤ä♥❣ ❝→❝ ❜ë ❞ú tứ ổ ỗ q Pss tứ ổ ❤➻♥❤ ❤è✐ q✉② ❧♦❣✐❝ ❝â ↔♥❤ ❤÷ð♥❣ ❤é♥ ❤đ♣✳ ❑➳t q✉↔ ❝❤♦ t❤➜② ♣❤÷ì♥❣ ♣❤→♣ t✐➳♣ ❝➟♥ ❱❇●▲▼▼ ❝õ❛ ❝❤ó♥❣ tổ tốt ỡ rt s ợ ữỡ ❝õ❛ ●r♦❧❧ ❡t ❛❧ ❬✷✾❪ ✈➲ t➜t ❝↔ ❝→❝ ❝❤➾ t✐➯✉ ✤÷đ❝ ✤→♥❤ ❣✐→✱ ✤➦❝ ❜✐➺t ❧➔ ❈❋❘ ✈➔ ❈P❯✳ ✷✳✺✳✷ Ù♥❣ ❞ư♥❣ tr➯♥ ❞ú ❧✐➺✉ t❤ü❝ ❈❤ó♥❣ tỉ✐ ✤➣ ❝❤↕② t❤û ♥❣❤✐➺♠ tr➯♥ ❜ë ❞ú ❧✐➺✉ ✉♥❣ t❤÷ ❞❛ ✭❙❦✐♥ s❝❛♥❡r ❞❛t❛s❡t✮ ❝õ❛ ●r❡❡♥❜❡r❣ ❡t ❛❧ ❬✷✼❪ ❧➔ ♠ët t❤û ♥❣❤✐➺♠ ❧➙♠ s➔♥❣ ✤÷đ❝ t✐➳♥ ❤➔♥❤ ✤➸ ❦✐➸♠ tr❛ ❤✐➺✉ q✉↔ ❝õ❛ ❜❡t❛✲❝❛r♦t❡♥❡ tr♦♥❣ ✈✐➺❝ ♥❣➠♥ ♥❣ø❛ ✉♥❣ t❤÷ ❞❛ ❦❤æ♥❣ →❝ t➼♥❤ ✈➔ ❜ë ❞ú ❧✐➺✉ s→✉ t❤➔♥❤ ♣❤è ✭s✐① ❝✐t✐❡s ❞❛t❛s❡t✮ tr♦♥❣ ❋✐t③♠❛✉r✐❝❡ ❛♥❞ ▲❛✐r❞ ❬✷✺❪ ✳ ❑➳t q✉↔ ❝õ❛ ♣❤÷ì♥❣ ♣❤→♣ ❱❇●▲▼▼ ❝õ❛ ❝❤ó♥❣ tỉ✐ ❝ơ♥❣ r➜t tèt✱ ❤♦➔♥ t♦➔♥ ♣❤ị ❤đ♣ ✈ỵ✐ ♥❤ú♥❣ ✤→♥❤ ❣✐→ ❝õ❛ ❤å✳ ✷✼ ●r❡❡♥❜❡r❣✱ ❊✳ ❘✳ ❛♥❞ ❇❛r♦♥✱ ❏✳ ❆✳ ❛♥❞ ❙t❡✈❡♥s✱ ▼✳ ▼✳ ❛♥❞ ❙t✉❦❡❧✱ ❚✳ ❆✳ ❛♥❞ ▼❛♥❞❡❧✱ ❏✳ ❙✳ ❛♥❞ ❙♣❡♥❝❡r✱ ❙✳ ❑✳ ❛♥❞ ❊❧✐❛s✱ P✳ ▼✳ ❛♥❞ ▲♦✇❡✱ ◆✳ ❛♥❞ ◆✐❡r❡♥❜❡r❣✱ ❉✳ ◆✳ ❛♥❞ ❇❛②r❞ ●✳ ❛♥❞ ❱❛♥❝❡✱ ❏✳ ❈✳ ✭✶✾✽✾✮✱ ❚❤❡ s❦✐♥ ❝❛♥❝❡r ♣r❡✈❡♥t✐♦♥ st✉❞②✿ ❞❡s✐❣♥ ♦❢ ❛ ❝❧✐♥✐❝❛❧ tr✐❛❧ ♦❢ ❜❡t❛✲❝❛r♦t❡♥❡ ❛♠♦♥❣ ♣❡rs♦♥s ❛t ❤✐❣❤ r✐s❦ ❢♦r ♥♦♥♠❡❧❛♥♦♠❛ s❦✐♥ ❝❛♥❝❡r✱ ❈♦♥tr♦❧❧❡❞ ❈❧✐♥✐❝❛❧ ❚r✐❛❧s✱ ✶✵✱ ✶✺✸ ✲ ✶✻✻✳ ✷✺ ❋✐t③♠❛✉r✐❝❡✱ ●✳ ❛♥❞ ▲❛✐r❞✱ ◆✳ ✭✶✾✾✸✮ ✱ ❆ ❧✐❦❡❧✐❤♦♦❞✲❜❛s❡❞ ♠❡t❤♦❞ ❢♦r ❛♥❛❧②s✐♥❣ ❧♦♥❣✐t✉❞✐♥❛❧ ❜✐♥❛r② r❡s♣♦♥s❡s✱ ❇✐♦♠❡tr✐❦❛✱ ✽✵✱ ✶✹✶ ✲ ✶✺✶✳ ✶✹ ✷✳✻ ❑➳t ❧✉➟♥ ❝❤÷ì♥❣ ✷ ❈❤ó♥❣ tỉ✐ ✤➣ ♠ỉ t↔ ♠ët t❤✉➟t t♦→♥ ❱❇ ♥❤❛♥❤ tỹ ỗ tớ ỹ ữợ ữủ t❤❛♠ sè tr♦♥❣ ●▲▼▼✳ ❚❤✉➟t t♦→♥ ✤÷đ❝ ✤➲ ①✉➜t ❞ü❛ tr ữỡ ữợ ữủ ởt t ủ ợ s t ss Pữỡ ❱❇●▲▼▼ ✤÷đ❝ ✤➲ ①✉➜t ❝ơ♥❣ ❝â t❤➸ ✤÷đ❝ ♠ð rë♥❣ t❤➔♥❤✿ ✶✳ ▲ü❛ ❝❤å♥ ♥❤â♠ ❜✐➳♥ tr♦♥❣ ●▲▼▼ ❜➡♥❣ ❝→❝❤ sû ❞ö♥❣ ▲❛ss♦ ♣❤↕t ♥❤â♠ ✭❨✉❛♥ ❛♥❞ ▲✐♥ ❬✺✸❪✮✳ ✷✳ ▲ü❛ ❝❤å♥ ❜✐➳♥ ✤÷đ❝ s➢♣ ①➳♣ tr♦♥❣ ●▲▼▼ ❜➡♥❣ ❝→❝❤ sû ❞ư♥❣ ♣❤↕t t✉②➺t ✤è✐ tê♥❣ ❤đ♣ ✭❩❤❛♦ ❡t ❛❧ ữỡ ìợ ữủ ỹ ổ ổ ỗ q t ✤ë♥❣ ✸✳✶ ●✐ỵ✐ t❤✐➺✉ ❝❤✉♥❣ ●✐↔ sû y ❧➔ ♠ët ✈❡❝t♦r d✲❝❤✐➲✉ ❝→❝ ❜✐➳♥ ✤→♣ ù♥❣ ❧✐➯♥ tö❝ ✈➔ z ❧➔ ♠ët ✈❡❝t♦r p✲❝❤✐➲✉ ❝→❝ ❤✐➺♣ ❜✐➳♥ t✐➲♠ ♥➠♥❣✳ ❚r♦♥❣ ❝❤÷ì♥❣ ♥➔② ❝❤ó♥❣ tỉ✐ q✉❛♥ t➙♠ ✤➳♥ ✈➜♥ ✤➲ ♣❤➙♥ t ổ ỗ q t f (y|z) ❝→❝❤ sû ❞ư♥❣ ❤é♥ ❤đ♣ ❝→❝ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ✤❛ ìợ ữủ t ỗ q ỡ ✤ë♥❣ ✤➣ ✤÷đ❝ ①❡♠ ①➨t tr♦♥❣ ❝→❝ ❝ỉ♥❣ tr➻♥❤ ❝õ❛ ❚r❛♥ ❡t ❛❧ ❬✺✵❪✱ ◆♦tt ❡t ❛❧ ❬✸✽❪ ✈➔ ❱✐❧❧❛♥✐ ❡t ❛❧ ❬✺✷❪✳ ❈❤ó♥❣ tỉ✐ ♠ð rë♥❣ ♠ỉ ❤➻♥❤ ✤ì♥ ❜✐➳♥ ♥➔② t❤➔♥❤ ♠æ ❤➻♥❤ ❝â y ❧➔ ✤❛ ❜✐➳♥ ữủ ổ ữợ ữủ t ỗ q✉② ✤❛ ❜✐➳♥ ✈ỵ✐ ❤é♥ ❤đ♣ ❝→❝ ♣❤➙♥ ♣❤è✐ ❝❤✉➞♥ ✭▼✉❧t✐✈❛r✐❛t❡ ❘❡❣r❡ss✐♦♥ ❉❡♥s✐t② ❊st✐♠❛t✐♦♥ ✇✐t❤ ▼✐①t✉r❡s ♦❢ ◆♦r♠❛❧s ♠♦❞❡❧✿ ▼❘❉❊✲▼◆✮✳ ❈❤ó♥❣ tỉ✐ ♣❤→t tr✐➸♥ ♠ët t❤✉➟t t♦→♥ ❇❛②❡s ❜✐➳♥ ♣❤➙♥ tỹ ởt ỗ tớ ữỡ ữủ t số ỹ õ ỵ ♥❣❤➽❛ ✈➔ ①→❝ ✤à♥❤ sè t❤➔♥❤ ♣❤➛♥ ❝õ❛ ♠æ ❤➻♥❤✳ P❤÷ì♥❣ ♣❤→♣ ❝õ❛ ❝❤ó♥❣ tỉ✐ ①➙② ❞ü♥❣ ❞ü❛ tr➯♥ ♣❤÷ì♥❣ ♣❤→♣ ❝õ❛ ❚r❛♥ ❡t ❛❧ ❬✺✵❪✳ ✶✺ ✸✳✷ ▼æ ❤➻♥❤ ▼❘❉❊✲▼◆ ●✐↔ sû D = {(y (i) ,z (i) ),i = 1, ,n} ❧➔ t➟♣ ❝→❝ q✉❛♥ s→t ❝õ❛ (y,z)✳ ▼æ ❤➻♥❤ ▼❘❉❊✲▼◆ ❝â t❤➸ ✈✐➳t t❤➔♥❤ (i) y (i) |δ (i) = k, T = {T1 , , TK } ∼ Nd (y (i) |µk , Tk−1 ), i = 1, , n; k = 1, , K, ✭✸✳✷✮ tr♦♥❣ ✤â δ (i) ❧➔ ♠ët ❜✐➳♥ ♥❣➝✉ ♥❤✐➯♥ t✐➲♠ ➞♥ ✤÷đ❝ ❞ị♥❣ ✤➸ ①→❝ ✤à♥❤ t❤➔♥❤ ♣❤➛♥ (i) ❝õ❛ y (i) ✱ δ (i) ∈ {1, ,K}✳ ✈➔ Tk = k tr tr àk ữủ ổ ❤➻♥❤ ❜ð✐ (i) (i) (i) µk = (β k1 v , , β kd v d ) , (i) tr♦♥❣ ✤â v j ❧➔ ♠ët t➟♣ ❝♦♥ ❝õ❛ z (i) ✈➔ β kj ∈ Rpj ✳ ❈→❝ ①→❝ s✉➜t trë♥ ✤÷đ❝ ♠ỉ ❤➻♥❤ ❜ð✐ πk (w(i) ) = P (δ (i) = k|γ) = exp(γ k w(i) ) K (i) g=1 exp(γ g w ) , tr♦♥❣ ✤â w(i) ✱ ❧➔ ♠ët t➟♣ ❝♦♥ ❝õ❛ z (i) ✳ ❈❤ó♥❣ tæ✐ ①➨t ❝→❝ ♣❤➙♥ ♣❤è✐ t✐➲♥ ♥❣❤✐➺♠ tr➯♥ β, T ✈➔ γ β kj ∼ Npj (0, β0−1 I), j = 1, , d, k = 1, , K, Tk ∼ ❲✐s❤❛rt(ν0 , V0 −1 ), k = 1, , K, γ ∼ Ns (0, γ0−1 I), ✸✳✷✳✶ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ β P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ β kj ❧➔ q(β kj ) = Npj (µβkj ,Σβkj ), k = 1, ,K; j = 1, ,d, tr♦♥❣ ✤â −1 n (i) (i) qik [Tk ]j,j v j (v j ) Σβkj = β0 I + ✭✸✳✼✮ , i=1 n (i) µβkj = Σβkj (i) (i) qik [Tk ]j,j yj +[Tk ]j,−j [sk,−j ] v j i=1 ✶✻ , ✭✸✳✽✮ ✸✳✷✳✷ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ Tk P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝õ❛ Tk ❧➔ q(Tk ) = ❲✐s❤❛rt(νk ,Vk−1 ) tr♦♥❣ ✤â ❤❛✐ t❤❛♠ sè νk ✈➔ Vk ✤÷đ❝ ❝➟♣ ♥❤➟t t❤❡♦ ❝ỉ♥❣ t❤ù❝ n νk = ν0 + n (i) i=1 (i) (i) qik [sk ][sk ] + ❱❛rq (sk ) , qik , Vk = V0 + ✭✸✳✾✮ i=1 ✸✳✷✳✸ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝❤♦ q ik ❚÷ì♥❣ tü ♥❤÷ tr➯♥✱ tø ❝æ♥❣ t❤ù❝ ✭✶✳✾✮ t❛ ❝â (i) 1 (i) (i) qik ∝ exp log pik (µγ ) + [log |Tk |] − [sk ] [Tk ][sk ] − tr [Tk ]❱❛rq (sk ) , 2 ✭✸✳✶✵✮ tr♦♥❣ ✤â [log|Tk |]= dh=1 Ψ (νk +1−h)/2 +dlog2−log|Vk | ✈ỵ✐ Ψ(x)=∂Γ(x)/Γ(x) ❧➔ ❤➔♠ ❞✐❛❣❛♠♠❛✳ ✸✳✷✳✹ P❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ ÷✉ ❱❇ ❝õ❛ γ ❚ø ❝æ♥❣ t❤ù❝ ✭✶✳✾✮ t❛ ❝â q(γ) ∝ exp − γ0−1 γ γ + n K qik log pik (γ) ✭✸✳✶✶✮ i=1 k=1 P❤➙♥ ♣❤è✐ ♥➔② ❦❤æ♥❣ ❝â ❞↕♥❣ ❝❤➼♥❤ t➢❝✱ t❤❡♦ ❚r❛♥ ❡t ❛❧ ❬✺✵❪✱ ❝❤ó♥❣ tỉ✐ sû ❞ư♥❣ ♠ët ♣❤➙♥ ♣❤è✐ ❉✐r❛❝ ❞❡❧t❛ q(γ) = δµγ (γ) t➟♣ tr✉♥❣ t↕✐ ✤✐➸♠ µγ ✤è✐ ✈ỵ✐ ①➜♣ ①➾ ❱❇ tr➯♥ γ ✱ ♥❣❤➽❛ q t ữợ ữủ số ữủ ữợ ữủ ✭✸✳✶✶✮✳ ❚↕✐ ✤✐➸♠ ❤ë✐ tư✱ ❝❤ó♥❣ tỉ✐ sû ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ ①➜♣ ①➾ ●❛✉ss ✤➸ ①➜♣ ①➾ q(γ) ❜➠♥❣ ♠ët ♣❤➙♥ ♣❤è✐ ①➜♣ ①➾ ❝❤✉➞♥ q ♦♣t (γ) ✈ỵ✐ tr✉♥❣ tr ữỡ s ♠❛ tr➟♥ ❍❡ss✐❛♥ ✤÷đ❝ t➼♥❤ t↕✐ ♠♦❞❡ ❝õ❛ ♣❤➙♥ ♣❤è✐ tr ữợ q ổ tự ữợ logp(y|) L(q) = [log p(y, θ)] − [log q(θ)] = [log p(θ)] + [log p(y|θ)] − [log q(θ)] ✭✸✳✶✷✮ ✶✼ ✸✳✷✳✺ ❚❤✉➟t t♦→♥ ❱❇ ❝❤♦ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆ ❙❛✉ ❦❤✐ ✤➣ ①➙② ❞ü♥❣ ✤÷đ❝ ❝→❝ ❝æ♥❣ t❤ù❝ ✤➸ ❝➟♣ ♥❤➟t ❝→❝ t❤❛♠ sè ❝õ❛ ♠ỉ ❤➻♥❤ t❤❡♦ ♣❤÷ì♥❣ ♣❤→♣ ❇❛②❡s ❜✐➳♥ ♣❤➙♥✱ ❝❤ó♥❣ tỉ✐ ✤✐ ✤➳♥ t❤✉➟t t♦→♥ ❱❇ ❝❤♦ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆ ♥❤÷ s❛✉✿ ❚❤✉➟t t♦→♥ ✶✳ ✶✳ ❈➟♣ ♥❤➟t Σβkj ✈➔ µβkj ✱ j = 1, ,d✱ k = 1, ,K ♥❤÷ tr♦♥❣ ✭✸✳✼✮ ✈➔ ✭✸✳✽✮✳ ✷✳ ❈➟♣ ♥❤➟t νk ✈➔ Vk ✱ k = 1, ,K ♥❤÷ tr♦♥❣ ✭✸✳✾✮✳ ✸✳ ❈➟♣ ♥❤➟t qik , i = 1, ,n✱ k = 1, ,K ữ tr t ố ữợ ❝❤♦ ✤➳♥ ❦❤✐ ❞ø♥❣✳ ✸✳✸ ▲ü❛ ❝❤å♥ sè t❤➔♥❤ ♣❤➛♥ P❤➛♥ ♥➔② ✤➲ ❝➟♣ ✤➳♥ ✈➜♥ ✤➲ ❝ü❝ ✤↕✐ ✤à❛ ♣❤÷ì♥❣ ✈➔ ❝❤å♥ sè ❧÷đ♥❣ t❤➔♥❤ ♣❤➛♥ ❜➡♥❣ ❝→❝❤ ✤✐➲✉ ❝❤➾♥❤ t❤✉➟t t♦→♥ t→❝❤ ✈➔ ❤đ♣ ♥❤➜t✳ ✣➛✉ t✐➯♥ ❝❤ó♥❣ tỉ✐ ❦❤ð✐ t↕♦ sè t❤➔♥❤ ♣❤➛♥ K sû ❞ư♥❣ ♣❤÷ì♥❣ ♣❤→♣ ❈❛❧✐♥s❦✐ ❛♥❞ ❍❛r❛❜❛s③ ❬✶✻❪ ✤➸ ❝❤å♥ sè ❝ư♠✳ ❱ỵ✐ K ❜❛♥ ✤➛✉✱ s❛✉ ❦❤✐ t❤✉➟t t♦→♥ ✶ ✤➣ ❤ë✐ tư✱ ❝❤ó♥❣ tỉ✐ ①❡♠ ①➨t ❤đ♣ ♥❤➜t ❤❛✐ t❤➔♥❤ ♣❤➛♥ ❤♦➦❝ t→❝❤ ♠ët t❤➔♥❤ ♣❤➛♥ ❝❤♦ ✤➳♥ ❦❤✐ ❣✐ỵ✐ ❤↕♥ ữợ ổ ữủ t t ỳ ỵ L t ữợ ữủ t số ợ ữợ tố s tt t ✤➣ ❤ë✐ tư✳ ❍đ♣ ♥❤➜t ❤❛✐ t❤➔♥❤ ♣❤➛♥✳ ❍❛✐ t❤➔♥❤ ữủ ủ ỵ t ủ ♥❤➜t ♥➳✉ ❝❤ó♥❣ ❣➛♥ ♥❤❛✉ t❤❡♦ ♠ët ♥❣❤➽❛ ♥➔♦ ✤â✳ Ð ✤➙② ❝❤ó♥❣ tỉ✐ sû ❞ư♥❣ sü s❛✐ ❦❤→❝ ❑✉❧❧❜❛❝❦✲▲❡✐❜❧❡r ữớ sỹ tữỡ ỗ ị tữ ố t ủ t ủ ỵ t ợ ữợ ữủ t max ❤♦➦❝ sè ❤♦↕t ✤ë♥❣ ❤đ♣ ♥❤➜t ✈÷đt q✉→ sè ữủ trữợ Mr s ❛♥❞ ❍❛r❛❜❛s③✱ ❏✳ ✭✶✾✼✹✮ ✱ ❆ ❞❡♥❞r✐t❡ ♠❡t❤♦❞ ❢♦r ❝❧✉st❡r ❛♥❛❧②s✐s✱ ✐♥ ❙t❛t✐st✐❝s✱ ✸✱ ✶ ✲ ✷✼✳ ✶✽ ❈♦♠♠✉♥✐❝❛t✐♦♥s ❚→❝❤ ♠ët t❤➔♥❤ ♣❤➛♥✳ ▼ët t❤➔♥❤ ♣❤➛♥ ✤÷đ❝ ❝♦✐ ❧➔ ❦❤ỉ♥❣ ✤→♥❣ t✐♥ ❝➟② ✈➔ ❧➔ ♠ët ù♥❣ ❝û ✈✐➯♥ ❝❤➼♥❤ ✤→♥❣ ❝❤♦ ✈✐➺❝ ❝❤✐❛ t→❝❤ ♥➳✉ ♥â ❝â ❣✐→ trà ủ ỵ ọ tự õ ũ ủ ♣❤↔✐ ✤÷đ❝ t→❝❤ r❛✳ ❈❤ó♥❣ tỉ✐ ❝❤✐❛ ❝→❝ t❤➔♥❤ ♣❤➛♥ ủ ỵ t ợ ữợ ữủ ❝↔✐ t❤✐➺♥ ❤♦➦❝ sè ❧➛♥ t❤ü❝ ❤✐➺♥ ❝❤✐❛ t→❝❤ ✈÷đt q max số ữủ trữợ Mst r ❝ì sð ①❡♠ ①➨t ✈✐➺❝ t→❝❤ ❤❛② ❤đ♣ ♥❤➜t ❝→❝ t❤➔♥❤ ♣❤➛♥✱ ❝❤ó♥❣ t❛ ❝â t❤✉➟t t♦→♥ ✷✿ ❚→❝❤ ✈➔ ❤ñ♣ ♥❤➜t ❝→❝ t❤➔♥❤ ♣❤➛♥✳ ✸✳✹ ▲ü❛ ❝❤å♥ ❜✐➳♥ ●✐↔ sû r➡♥❣ C = {1, ,p} ❧➔ t➟♣ ❤ñ♣ ❝❤➾ sè ❝õ❛ ❝→❝ ❜✐➳♥ t✐➲♠ ♥➠♥❣ z1 , ,zp ✳ ỵ Cjm t ủ số ❜✐➳♥ ❤✐➺♥ t↕✐ ✈➔ z Cjm = v j ❧➔ ❝→❝ ❜✐➳♥ ❤✐➺♥ t↕✐ tr♦♥❣ ♠❡❛♥ ♠♦❞❡❧ ❝õ❛ ❜✐➯♥ j ữỡ tỹ ỵ C g t ủ ❝❤➾ sè ❝õ❛ ❝→❝ ❜✐➳♥ ❤✐➺♥ t↕✐ ✈➔ z C g = w ❧➔ ❝→❝ ❜✐➳♥ ❤✐➺♥ t↕✐ tr♦♥❣ ❣❛t✐♥❣ ♠♦❞❡❧✳ ✸✳✹✳✶ ▼æ ❤➻♥❤ t✐➲♥ ♥❣❤✐➺♠ m = {Cjm , j = 1, ,d} ❧➔ ❝→❝ t➟♣ ❝❤➾ sè ✣➦t M ❧➔ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆ ✈ỵ✐ C1:d ❝õ❛ ❝→❝ ❤✐➺♣ ❜✐➳♥ tr♦♥❣ ♠❡❛♥ ♠♦❞❡❧ ✈➔ C g ❧➔ t➟♣ ❝❤➾ sè ❝→❝ ❤✐➺♣ ❜✐➳♥ tr♦♥❣ ❣❛t✐♥❣ ♠♦❞❡❧✳ ❚❤❡♦ ❚r❛♥ ❡t ❛❧ ❬✺✵❪✱ ①→❝ s✉➜t t✐➲♥ ♥❣❤✐➺♠ tr➯♥ ♠æ ❤➻♥❤ M ❧➔ m ,C g ) = p(C g ) p(M) = p(C1:d d m j=1 p(Cj ) ✸✳✹✳✷ ▲ü❛ ❝❤å♥ ❜✐➳♥ ❝❤♦ ♠❡❛♥ ♠♦❞❡❧ ✣è✐ ✈ỵ✐ ❜✐➯♥ j ∈ {1, ,d} ❝è ✤à♥❤✱ ❝❤ó♥❣ tỉ✐ q✉❛♥ t➙♠ ✈✐➺❝ ❜ê s✉♥❣ ♠ët ❜✐➳♥ ♠ỵ✐ zl , l ∈ C \Cjm ✈➔♦ ♠❡❛♥ ♠♦❞❡❧ ❝õ❛ ❜✐➯♥ j ✳ ❚❛ ✈✐➳t β C kj ❝❤♦ ✈❡❝t♦r ❤➺ sè ❤✐➺♥ N t↕✐ ✈➔ βkj số ợ tữỡ ự ợ ợ zl t❤➻ ♣❤➙♥ ♣❤è✐ ❤➟✉ ♥❣❤✐➺♠ tè✐ N N ÷✉ ❱❇ ❝õ❛ βkj ❧➔ q(βkj ) ∼ N1 (µβkjN ,σβ2 N ), k = 1, ,K tr♦♥❣ ✤â kj −1 n σβ2 N = kj (i) qik [Tk ]j,j (zl )2 β0 + i=1 ✶✾ , n N = µβkj (i) (i) σβ2 N kj (i) (i) qik [Tk ]j,j (yj − µβ C z Cjm ) + [Tk ]j,−j [sk,−j ] zl kj i=1 new old ỵ L♥❡✇ j (zl )✱ β kj ✈➔ Lj ✱ β kj tữỡ ự ữợ t số ❤❛✐ ♠ỉ ❤➻♥❤ ❝â ✈➔ ❦❤ỉ♥❣ ❝â ❜✐➳♥ ♠ỵ✐ zl tr♦♥❣ ❜✐➯♥ j ❝õ❛ ♠❡❛♥ ♠♦❞❡❧✳ ❚❛ ❝â L♥❡✇ j (zl ) = L♦❧❞ j +Aj (zl )✱ ❜✐➳♥ ❤ñ♣ ỵ t ữ j ❧➔ ❜✐➳♥ ❝â ❝❤➾ sè l = ❛r❣♠❛①l∈C\Cjm Aj (zl )✳ ❈❤ó♥❣ t❛ ❜ê s✉♥❣ zl ✈➔♦ ♠❡❛♥ ♠♦❞❡❧ ❝õ❛ ❜✐➯♥ j ♥➳✉ sü ❝â ♠➦t ❝õ❛ ♥â ❝↔✐ t❤✐➺♥ ữủ ữợ L(q) ỹ t ♠♦❞❡❧ ❈❤ó♥❣ tỉ✐ t❤ü❝ ❤✐➺♥ q✉② tr➻♥❤ ①➳♣ ❤↕♥❣ ❝→❝ ❜✐➳♥ ✤➸ ✤÷❛ ✈➔♦ ❣❛t✐♥❣ ♠♦❞❡❧ ♥❤÷ tr♦♥❣ ❚r❛♥ ❡t ❛❧ ❬✺✵❪✳ ●✐↔ sû zl ❧➔ ❜✐➳♥ ❝â t÷ì♥❣ q✉❛♥ ❦❤♦↔♥❣ ❝→❝❤ ♠➝✉ ❝❛♦ ♥❤➜t ✈ỵ✐ y tr♦♥❣ sè ❝→❝ zl , l ∈ C \C g ✳ ✲ ◆➳✉ zl ❝❤÷❛ ❝â tr♦♥❣ ♠❡❛♥ ♠♦❞❡❧✱ ♥❣❤➽❛ ❧➔ l ∈∪dj=1 Cjm ✱ t❤➻ zl s➩ ✤÷đ❝ ❜ê s✉♥❣ ✈➔♦ ❣❛t✐♥❣ ♠♦❞❡❧ ♥➳✉ sü ❝â ♠➦t ❝õ❛ ♥â ❝↔✐ t❤✐➺♥ ✤÷đ❝ ữợ L(q) zl õ t tr ♠❡❛♥ ♠♦❞❡❧✳ ❇✐➳♥ ♥➔② s➩ ✤÷đ❝ ❜ê s✉♥❣ ✈➔♦ ❣❛t✐♥❣ ♠♦❞❡❧ ♥➳✉ sü ❝â ♠➦t ❝õ❛ ♥â ❝↔✐ t❤✐➺♥ ✤÷đ❝ ữợ L(q) ữủ t ữ zl õ tữỡ q ợ y t❤ù ❤❛✐ tr♦♥❣ sè ❝→❝ ❜✐➳♥ tr♦♥❣ C \C g ✳ ❙ü ①❡♠ ①➨t ✈✐➺❝ ✤÷❛ ❜✐➳♥ ✈➔♦ ❣❛t✐♥❣ ♠♦❞❡❧ ✤÷đ❝ t❤ü❝ ❤✐➺♥ ❧➦♣ ❧↕✐ ❝❤♦ ✤➳♥ ❦❤✐ ♠ët ❜✐➳♥ ✤÷đ❝ ❝❤å♥ ❤♦➦❝ ❦❤ỉ♥❣ ❝á♥ zl ♥➔♦ ♥ú❛✳ ✸✳✹✳✹ ❚❤✉➟t t♦→♥ ✤➛② ✤õ ❑➳t ❤đ♣ ✈ỵ✐ t❤✉➜t t♦→♥ ✶ ✈➔ t❤✉➟t t♦→♥ ✷✱ ❝❤ó♥❣ t❛ ❝â t❤✉➟t t♦→♥ ✸ ❧➔ tt t tỹ ỗ tớ ỹ số t ỹ ữợ ữủ t❤❛♠ sè ❝❤♦ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆✳ ✸✳✺ Ù♥❣ ❞ư♥❣ ❈→❝ ❦➳t q✉↔ ♥❣❤✐➯♥ ❝ù✉ tr➯♥✱ ❝❤ó♥❣ tỉ✐ ✤➣ ❧➟♣ tr➻♥❤ tr➯♥ ♥❣æ♥ ♥❣ú ❘✳ ✣➸ ♠✐♥❤ ❤å❛ ✈➔ ✤→♥❤ ❣✐→ t➼♥❤ ÷✉ ✈✐➺t ❝õ❛ ♣❤÷ì♥❣ ♣❤→♣ ♥➔②✱ ❝❤✉♥❣ tỉ✐ ✤➣ t❤û ♥❣❤✐➺♠ tr➯♥ ✷✵ β11 β21 β31 β12 β22 β32 β13 β23 β33 γ1 γ2 γ3 ✶✳✵ ✶✳✵ ✲✸✳✵ ✲✷✳✵ ✷✳✵ ✹✳✵ ✻✳✵ ✲✸✳✵ ✹✳✵ ✵✳✵ ✶✳✺ ✶✳✵ ✵✳✵ ✲✷✳✵ ✶✳✵ ✵✳✵ ✺✳✵ ✲✶✳✵ ✵✳✵ ✲✺✳✵ ✼✳✵ ✵✳✵ ✶✳✵ ✲✸✳✺ ✷✳✵ ✵✳✵ ✸✳✵ ✵✳✵ ✵✳✵ ✺✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✲✹✳✵ ✵✳✵ ✵✳✵ ✷✳✺ ✵✳✵ ✵✳✵ ✲✸✳✺ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✺✳✵ ✵✳✵ ✻✳✺ ✶✳✵ ✵✳✵ ✲✺✳✵ ✲✷✳✵ ✵✳✵ ✶✳✺ ✵✳✵ ✲✹✳✵ ✶✳✺ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✳ ✳ ✳ ✵✳✵ ✵✳✵ ✵✳✵ ✵✳✵ ✳ ✵✳✵ ❇↔♥❣ ✸✳✶✿ ❇↔♥❣ ❣✐→ trà ✤ó♥❣ ❝õ❛ ❝→❝ t❤❛♠ sè β ✈➔ γ ✳ ❞ú ❧✐➺✉ ♠æ ♣❤ä♥❣ ✈➔ ❞ú ❧✐➺✉ t❤ü❝✳ ❑➳t q✉↔ ✤➲✉ ❝❤♦ t❤➜② ❤✐➺✉ q✉↔ tèt ❝õ❛ t❤✉➟t t♦→♥✳ ✸✳✺✳✶ ◆❣❤✐➯♥ ❝ù✉ ♠æ ♣❤ä♥❣ ❈❤ó♥❣ tỉ✐ ♠ỉ ♣❤ä♥❣ ❞ú ❧✐➺✉ tø ♠ỉ ❤➻♥❤ K p(y|z) = k (z)Nd (y|àk (z), k ), k=1 ợ K =3✱ d=3 ✈➔ ❣✐→ trà ✤ó♥❣ ❝õ❛ ❝→❝ t❤❛♠ sè β ✈➔ γ ✤÷đ❝ tr➻♥❤ ❜➔② tr♦♥❣ ❜↔♥❣ 3.1✱ tr♦♥❣ ✤â ♠é✐ ❝ët✱ p−5 ♣❤➛♥ tû ❝✉è✐ ✤➲✉ ❧➔ ✵✳ ❈❤ó♥❣ tỉ✐ ✤➦t Σ1 =Σ2 =Σ3 =I ✳ P❤÷ì♥❣ ♣❤→♣ ❝õ❛ ❝❤ó♥❣ tỉ✐ ✤÷đ❝ ✤→♥❤ ❣✐→ tr➯♥ ❝→❝ ❝❤➾ t✐➯✉ t✛ ❧➺ ✭✪✮ ❝❤å♥ ✤ó♥❣ ❜✐➳♥ ❝❤♦ ♠❡❛♥ ♠♦❞❡❧✱ ❣❛t✐♥❣ ♠♦❞❡❧✱ t✛ ❧➺ ✭✪✮ ❝❤å♥ ✤ó♥❣ sè t❤➔♥❤ ♣❤➛♥ ✈➔ t✛ ❧➺ ✭✪✮ ❝❤å♥ ✤ó♥❣ ❝↔ ❜❛ ♠ư❝ t✐➯✉ tr ỗ tớ ú tổ ụ t s số ữỡ tr ỳ tr ữợ t➼♥❤ ✈ỵ✐ ❣✐→ trà ✤ó♥❣ ❝õ❛ ❝→❝ t❤❛♠ sè✳ ❈→❝ ❣✐→ trà t❤è♥❣ ❦➯ tr➯♥ ✤÷đ❝ t➼♥❤ tr➯♥ ✷✵ ♠➝✉✳ ❑➳t q✉↔ ❝❤♦ t❤➜② ♣❤÷ì♥❣ ♣❤→♣ ✤÷đ❝ ✤➲ ①✉➜t ❝â t❤➸ ①→❝ ✤à♥❤ ❝❤➼♥❤ ①→❝ ❝↔ ❝→❝ ❜✐➳♥ q✉❛♥ trå♥❣ ✈➔ sè t❤➔♥❤ ♣❤➛♥ ✈ỵ✐ tè❝ ✤ë ❝❛♦ ♥❤í t❤✉➟t t♦→♥ ❱❇✳ ✣➦❝ ❜✐➯t✱ t❤❡♦ ♥❤÷ ❦ý ✈å♥❣✱ t✛ ❧➺ ú t ũ ợ tữợ n ✈➔ ❣✐↔♠ ❦❤✐ sè ❜✐➳♥ t✐➲♠ ♥➠♥❣ p t➠♥❣✳ ✷✶ ✸✳✺✳✷ Ù♥❣ ❞ö♥❣ tr➯♥ ❞ú ❧✐➺✉ t❤ü❝ ❍■▲❉❆ ❉ú ❧✐➺✉ ✤÷đ❝ tr➼❝❤ ①✉➜t tø ❚r✉♥❣ t➙♠ ♥❣❤✐➯♥ ❝ù✉ ✈➲ ❤ë ❣✐❛ ✤➻♥❤✱ t❤✉ ♥❤➟♣ ✈➔ ❧❛♦ ✤ë♥❣ t↕✐ Ó❝ ✭t❤❡ ❍♦✉s❡❤♦❧❞✱ ■♥❝♦♠❡ ❛♥❞ ▲❛❜♦✉r ❉②♥❛♠✐❝s s✉r✈❡② ✐♥ ❆✉str❛❧✐❛✿ ❍■▲❉❆✮ ✈➔♦ ỗ ởt t t➼♥❤ ✈➲ sù❝ ❦❤ä❡✱ t❤✉ ♥❤➟♣✱ ❣✐→♦ ❞ö❝✱ sü ❤➔✐ ❧á♥❣ ❝✉ë❝ sè♥❣✱ ✳✳✳ ❚➜t ❝↔ ❝â ✹✹ ❜✐➳♥ ✈ỵ✐ ✶✼✱✺✶✷ q✉❛♥ s→t✱ tø ✤â ❝❤ó♥❣ tỉ✐ ❝❤å♥ ♥❣➝✉ ♥❤✐➯♥ ởt ỗ q st ỳ ữợ ữủ ổ tr t ỏ ❧↕✐ ✤÷đ❝ ❞ị♥❣ ✤➸ ❦✐➸♠ tr❛ ✭t❡st ❞❛t❛✮✳ ❈❤ó♥❣ tỉ✐ sû ❞ö♥❣ ♥❣❤♣❢ ✭♣❤②s✐❝❛❧ ❤❡❛❧t❤ st❛t✉s s❝♦r❡✮ ✈➔ ♥❣❤♠❤ ✭♠❡♥t❛❧ t stts sr tr ỗ y ✱ ✈➔ ❝→❝ ❜✐➳♥ ❝á♥ ❧↕✐ z ✳ ❈❤ó♥❣ tỉ✐ q✉❛♥ t➙♠ ✤➳♥ ✈✐➺❝ ♠æ ❤➻♥❤ ❤â❛ ❧✐♥❤ ❤♦↕t ♠➟t ỗ q số ọ ❜➡♥❣ ❝→❝❤ sû ❞ư♥❣ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆✳ ❙û ❞ư♥❣ ♣❤÷ì♥❣ ữợ ữủ ổ ỹ ổ ❱❇ ❝õ❛ ❝❤ó♥❣ tỉ✐✱ ♠ët ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆ ❝â ❜❛ t ữủ ợ ữủ ✈➔ ❝→❝ ❤➺ sè ÷đ❝ ❧÷đ♥❣ ❝❤♦ ♠❡❛♥ ♠❞❡❧ ✈➔ t ú tổ s s ữỡ ợ ổ ỗ q t t tổ tữớ ✭▼✉❧t✐✈❛r✐❛t❡ ▲✐♥❡❛r ❘❡❣r❡ss✐♦♥✿ ▼▲❘✮ ✈ỵ✐ ❤❛✐ ♣❤✐➯♥ ❜↔♥ ❝õ❛ ♠ỉ ❤➻♥❤ ▼▲❘✿ ♠ỉ ❤➻♥❤ ▼▲❘✶✱ ✈➔ ♠ỉ ❤➻♥❤ ▼▲❘✷✳ ❈❤ó♥❣ tỉ✐ ✤→♥❤ ❣✐→ ❤✐➺✉ s✉➜t ❜➡♥❣ ❝→❝❤ sû ❞ư♥❣ ✤✐➸♠ ❞ü ❜→♦ ✭P❛rt✐❛❧ Pr❡❞✐❝t✐✈❡ ❙❝♦r❡✿ PP❙✮ ❝õ❛ logp(y|z) ✈ỵ✐ ❝→❝ ✤✐➸♠ ❞ú ❧✐➺✉ (y,z) tr♦♥❣ ❜ë ❞ú ❧✐➺✉ ❦✐➸♠ tr❛✱ ✈➔ p(y|z) ❧➔ ❤➔♠ ♠➟t ✤ë ❝õ❛ ♠æ ❤➻♥❤ ✤❛♥❣ ✤÷đ❝ ①❡♠ ①➨t✳ ▼ỉ ❤➻♥❤ ❝â PP❙ ❝➔♥❣ ♥❤ä t❤➻ ❤✐➺✉ s✉➜t ❞ü ❜→♦ ❝➔♥❣ tèt✳ ❚❤ü❝ ❤✐➺♥ ✤→♥❤ ❣✐→ ❝→❝ ♠æ ❤➻♥❤ tr➯♥ ❜ë ❞ú ❧✐➺✉ ❦✐➸♠ tr❛✱ PP❙ ❝õ❛ ▼▲❘✶✱ ▼▲❘✷ ✈➔ ▼❘❉❊✲▼◆ t÷ì♥❣ ù♥❣ ❧➔ ✶✳✺✷✶✷ ✭✵✳✵✵✼✻✮✱ ✶✳✺✺✷✻ ✭✵✳✵✵✼✶✮ ✈➔ ✵✳✽✾✹✾ ✭✵✳✵✵✾✺✮✳ ❑➳t q✉↔ ♥➔② ❝❤♦ t❤➜② ♠æ ❤➻♥❤ ▼❘❉❊✲▼◆ ❝â ❤✐➺✉ s✉➜t ❞ü ❜→♦ r➜t tèt✳ ✸✳✻ ❑➳t ❧✉➟♥ ❝❤÷ì♥❣ ✸ ❚r♦♥❣ ❝❤÷ì♥❣ ♥➔②✱ ❝❤ó♥❣ tỉ✐ ✤➣ tr➻♥❤ ❜➔② ♠ët t❤✉➟t t♦→♥ ❱❇ ♥❤❛♥❤ ✤➸ t❤ü❝ ỗ tớ ỹ ỹ t ữợ ữủ t số tr ổ t ỗ q sỷ ộ ủ ố ởt ữợ ❝ù✉ ❝â t❤➸ ❝â tr♦♥❣ t÷ì♥❣ ❧❛✐ ❧➔ ♠ð rë♥❣ ♣❤÷ì♥❣ ♣❤→♣ ❝❤♦ ❧ü❛ ❝❤å♥ ❜✐➳♥ ✈➔ ❧ü❛ ❝❤å♥ t❤➔♥❤ ♣❤➛♥ tr♦♥❣ ❤é♥ ❤đ♣ ❝→❝ ♠ỉ ✷✷ ❤➻♥❤ ❝❤✉②➯♥ ❣✐❛ ✈ỵ✐ ♠é✐ t❤➔♥❤ ♣❤➛♥ ❧➔ ♠ët ♠↕♥❣ ♥ìr♦♥✳ ❑➳t ❧✉➟♥ ợ ổ tr trữợ ỳ õ õ ợ ỗ ỳ t qừ ã ✣➣ ①➙② ❞ü♥❣ ✤÷đ❝ t❤✉➟t t♦→♥ ❜✐➳♥ ♣❤➙♥ ❇❛②❡s ✤➸ tỹ ỗ tớ t ữợ ❧÷đ♥❣ t❤❛♠ sè ❝❤♦ ♠ỉ ❤➻♥❤ ●▲▼▼ tr♦♥❣ tr÷í♥❣ ❤đ♣ ♥❤✐➲✉ ❜✐➳♥✳ ❚❤✉➟t t♦→♥ ✤➣ t❤➸ ❤✐➺♥ rã t➼♥❤ ÷✉ t ỡ s ợ ữỡ r t ❬✷✾❪ ✈➔ ❙❝❤❡❧❧❞♦r❢❡r ❡t ❛❧ ❬✹✺❪ ❝↔ ✈➲ ♠➦t t❤í✐ ❣✐❛♥ ❧➝♥ ❦❤↔ ♥➠♥❣ ❝❤å♥ ✤÷đ❝ ❝→❝ ❜✐➳♥ q✉❛♥ trå♥❣ ữợ ữủ tổ q ✤→♥❤ ❣✐→ tr♦♥❣ ♥❣❤✐➯♥ ❝ù✉ ♠ỉ ♣❤ä♥❣✳ • ✣➣ ♥❣❤✐➯♥ ❝ù✉ ♠ỉ ❤➻♥❤ ▼❘❉❊✲▼◆ ✈➔ ①➙② ❞ü♥❣ ✤÷đ❝ t❤✉➟t t♦→♥ tỹ ỗ tớ t số t ỹ ữợ ❧÷đ♥❣ t❤❛♠ sè ❝❤♦ ♠❡❛♥ ♠♦❞❡❧❀ ✭✸✮ ❧ü❛ ❝❤å♥ ❜✐➳♥ ữợ ữủ t số t t t ✤÷đ❝ ①➙② ❞ü♥❣ ❝ơ♥❣ t❤➸ ❤✐➺♥ ❤✐➺✉ s✉➜t ❤♦↕t ✤ë♥❣ tèt✱ ✤÷đ❝ ✤→♥❤ ❣✐→ tr➯♥ ❞ú ❧✐➺✉ ♠ỉ ♣❤ä♥❣ ✈➔ ❞ú ❧✐➺✉ t❤ü❝✳ ❑✐➳♥ ♥❣❤à ✈➲ ♥❤ú♥❣ ♥❣❤✐➯♥ ❝ù✉ t✐➳♣ t ữợ ự ỏ t♦→♥ ♠ð s❛✉ ✤➙②✿ ✶✳ ▲ü❛ ❝❤å♥ ♥❤â♠ ❜✐➳♥ tr♦♥❣ ●▲▼▼ ❜➡♥❣ ❝→❝❤ sû ❞ö♥❣ ▲❛ss♦ ♣❤↕t ♥❤â♠ ✭❨✉❛♥ ❛♥❞ ▲✐♥ ❬✺✸❪✮✳ ✷✳ ▲ü❛ ❝❤å♥ ❜✐➳♥ ✤÷đ❝ s➢♣ ①➳♣ tr♦♥❣ ●▲▼▼ ❜➡♥❣ ❝→❝❤ sû ❞ư♥❣ ♣❤↕t t✉②➺t ✤è✐ tê♥❣ ❤đ♣ ✭❩❤❛♦ ❡t ❛❧ ❬✺✹❪✮✳ ✸✳ ▼ð rë♥❣ ♣❤÷ì♥❣ ♣❤→♣ ❝❤♦ ❧ü❛ ❝❤å♥ ❜✐➳♥ ✈➔ ❧ü❛ ❝❤å♥ t❤➔♥❤ ♣❤➛♥ tr♦♥❣ ❤é♥ ❤đ♣ ❝→❝ ♠ỉ ❤➻♥❤ ❝❤✉②➯♥ ❣✐❛ ✈ỵ✐ ♠é✐ t❤➔♥❤ ♣❤➛♥ ❧➔ ♠ët ♠↕♥❣ ♥ìr♦♥✳ ❚✉② ♥❤✐➯♥✱ ✈➻ ✤✐➲✉ ❦✐➺♥ t❤í✐ ❣✐❛♥ ✈➔ ♥➠♥❣ ❧ü❝ ♥➯♥ t→❝ ❣✐↔ ❝❤÷❛ ❣✐↔✐ q✉②➳t ✤÷đ❝ ❝→❝ ✈➜♥ ✤➲ tr➯♥✳ ❚→❝ ❣✐↔ ❤② ✈å♥❣ ♥❤ú♥❣ s sợ ữủ qt ♠ư❝ ❝→❝ ❝ỉ♥❣ tr➻♥❤ ❦❤♦❛ ❤å❝ ❝õ❛ t→❝ ❣✐↔ ❧✐➯♥ q✉❛♥ ✤➳♥ ❧✉➟♥ →♥ [1] ❉❛♦ ❚❤❛♥❤ ❚✉♥❣✱ ▼✐♥❤✲◆❣♦❝ ❚r❛♥✱ ❚r❛♥ ▼❛♥❤ ❈✉♦♥❣✱ ❇❛②❡s✐❛♥ ❆❞❛♣t✐✈❡ ▲❛ss♦ ✇✐t❤ ❱❛r✐❛t✐♦♥❛❧ ❇❛②❡s ❢♦r❱❛r✐❛❜❧❡ ❙❡❧❡❝t✐♦♥ ✐♥ ❍✐❣❤✲❞✐♠❡♥s✐♦♥❛❧ ●❡♥✲ ❡r❛❧✐③❡❞▲✐♥❡❛r ▼✐①❡❞ ▼♦❞❡❧s✱ ❈♦♠♠✉♥✐❝❛t✐♦♥s ✐♥ ❙t❛t✐st✐❝s ✲ ❙✐♠✉❧❛t✐♦♥s ❛♥❞ ❈♦♠♣✉t❛t✐♦♥s✱ ✱ ✶ ✲ ✶✹✱ ✷✵✶✽✳ ✶✵✳✶✵✽✵✴✵✸✻✶✵✾✶✽✳✷✵✶✼✳✶✸✽✼✻✻✸✳ ✵ [2] ❉❛♦ ❚❤❛♥❤ ❚✉♥❣✱ ▼✐♥❤✲◆❣♦❝ ❚r❛♥✱ ❋❧❡①✐❜❧❡ ▼✉❧t✐✈❛r✐❛t❡ ❘❡❣r❡ss✐♦♥ ❉❡♥✲ s✐t② ❊st✐♠❛t✐♦♥✱ ❈♦♠♠✉♥✐❝❛t✐♦♥s ✐♥ ❙t❛t✐st✐❝s ✲ ❚❤❡♦r② ❛♥❞ ▼❡t❤♦❞s✱ ✷✵✶✽ ✭s✉❜♠✐t❡❞✮✳ ✷✹