Phân bố kế ợt h p cho b i ở ( ) ( | ) cịn phân bốbiên của x là tổng của c c phân á b kố ết hợp lấy cho tất cả các trạng th i cá ĩ th cĩ cể ủa x:
( ) = ( ) ( | ) = ( | , ) (1.32)
Ởđây đã sử dụng cơng thức (1.30) và .31(1 ). Như vậy phân bố biên của x là phân bố
Gauss h n h p cỗ ợ ĩ dạng (1.21). Nếu cĩ các quan s t á 1, … , và phân bốbiên cĩ dạng
( ) = ( , ) nên với mỗi điểm d ữliệu quan sát được sẽ cĩ biến tiềm ẩn . T ĩ s cĩ ừ đ ẽ cơng thức tương đương của phân b Gauss hố ỗn hợp tương ứng với một biến tiềm ẩn được biểu diễn tường minh. Như vậy, cĩ th làm vi c vể ệ ới phân b ố
kết hợp ( , ) thay cho l m vià ệc với phân bố biên ( ) và điều n y dà ẫn tới đơn giản hĩa rất quan tr ng thơng qua ọ thu t tốn cậ ực đại hĩa kỳ ọ v ng (EM – Expectation Maximization).
Mộ ại lượt đ ng khá ĩc đ ng vai tr quan trị ọng là xác su t cấ ĩ điều kiện của z với x ã đ
cho. Sử ụ d ng ký hi u ệ ( ) cho ( = 1| ) và ( ) được xác định theo định lý
Bayes như sau:
( ) ( = 1| ) = ( = 1) ( | = 1)
36
= ( | , )
, (1.33)
là xác suất tiên nghiệm để = 1 cịn ( ) là xác suất hậu nghiệm tương ứng khi
đã cĩ quan sát x. ( ) cĩ th ể xem như l đại lượà ng đĩng vai trị trách nhi m d n t i ệ ẫ ớ
phần tử s lk ẽ ấy quan s t x. á
1.4.7.2 Cực đại hĩa khả ệ hi n
Gi thiả ết cĩ tập dữ ệ li u quan sát {1, … , } và ta muốn mơ h nh hì ĩa dữ liệu n y à bằng phân bố Gauss hỗn hợp. Cĩ th biể ểu diễn tập dữ ệ li u này như là ma trận cĩ X
kích thước × trong đĩ hàng n là T. Tương tự như vậy, c c biá ế ẩn đượn c bi u ể
diễn bằng ma trận Z kích thước × với c c h ng lá à à T. Giả thiết rằng các điểm d liữ ệu c phân bĩ ốđộc lập nên cĩ th biể ểu diễn mơ h nh Gauss hì ỗn hợp đối vớ ậi t p d liữ ệu n y bà ằng c ch biá ểu diễn đồ ọa như trên h Hình 1.7.
Hình 1.7Đồ thị ể bi u diễn m t mơ hình Gauss hỗn hợp ộ
Hình 1.7 biểu diễn cho mộ ật t p Nđiểm ngẫu nhiên độ ậc l p cĩ phân bố ố gi ng nhau {xn}, với các điểm tiềm ẩn {zn}, trong đĩ n = 1,…, . N T (1.21ừ ), log của hàm khả ệ hi n cho bởi: ln ( | , , )= ln , =1 =1 (1.34)
Ở đây cĩ vấn đề quan tr ng liên quan tọ ới việc cực đại hĩa khả ệ hi n cho mơ hình Gauss h n h p do cỗ ợ ĩ tính đơn điệu. Để đơn giản, x t phân bé ố Gauss h n hỗ ợp trong
đĩ các th nh ph n c a nĩ cĩ các ma trà ầ ủ ận hiệp phương sai cho bởi = 2 v i là ớ I
ma trận đơn vị. K t luế ận được rút ra c ng s ũ ẽđúng với trường h p ma tr n hiợ ậ ệp phương
sai t ng qu t. Giổ á ả thi t mế ột trong c c thành ph n c a mơ hình h n h p chá ầ ủ ỗ ợ ẳng hạn thành ph n thầ ứj cĩ trung b nh lì à ích nh x c bá ằng một trong những điểm d liữ ệu sao cho = đối với một giá tr nàị o đĩ c a ủ n. Điểm d li u n y sữ ệ à ẽ tham gia vào số
hạng trong h m khà ả ện dướ hi i dạng: , = 1 (2 ) / 1 (1.35) Σ Σ Σ ΣΣ
37
Nếu xét giới hạn khi 0, số hạng này sẽtiến tới vơ hạn. Vì thếlog của hàm khả
hiện cũng tiế ớn t i vơ hạn. Như vậy, việc cực đại hĩa c a hủ àm log khả hiện là bài tốn
đư c đợ ặt ra khơng th ch hí ợp bởi vì tính đơn điệu như thếluơn luơn cĩ mặt và xuất hiện bất cứkhi n o mà ột trong nh ng thành phữ ần của phân b Gauss chố ạm tới một điểm d ữ
liệu cụ thể. Vấn đề này khơng xảy ra với phân bốGauss đơn. Như vậy lưu ý rằng khi áp dụng cực đại khả hiện đối với mơ hình hỗn h p Gauss phợ ải theo các bước để átr nh tìm ra lời giải vơ lý và tránh đi tìm cực đại địa phương của hàm khả hiện.
Vấn đề ákh c liên quan tới lời giải cực đại khả hiện là với bất kỳ nghiệm cực đại khả hi n n o thệ à ì h n h p phỗ ợ K ầ ử ẽn t s cĩ K! nghiệm tương đương ứng v i ớ K! c ch á gán tK ập c c tham sá ố cho Kthành ph n. Nầ ĩi cách khác, đố ới điểm đi v ã cho b t kấ ỳ
(khơng suy bi n) trong khơng gian cế ác giá tr ị tham số ẽ s cĩ K! – 1 điểm nữa cĩ cùng phân bố.
1.4.7.3 EM cho Gauss hỗn hợp
Xé át c c điều kiện cần phải được thỏa mãn tại cực đạ ủi c a hàm kh hi n.ả ệ
Đạo hàm c a ủ ln ( | , , ) trong (1.34) đố ới v i trung bình của c c th nh phá à ần Gauss và gán b ng 0, ta cằ ĩ: 0 = ( | , ) , ( ) (1.36) ( ) = ( | , ) , *
Ở đây đã dùng cơng thức (*) đối với phân b ố Gauss. Lưu ý là các x c su t h u á ấ ậ
nghiệm ( ) trong (1 ) xu.33 ất hiện rất tựnhiên bên vế ph i. Nhân c 2 v v i ả ả ế ớ 1
và sắp xếp lại ta cĩ: = 1 ( ) =1 (1.37) Trong ĩ đ định nghĩa: ( ) (1.38)
Cĩ th ểxem như là s ố lượng thực tế ủ c a các điểm đ đượã c gán cho c m ụ k. Lưu
ý tới dạng lời giải n y. Cà ĩ th thể ấy rằng nhận được trung bình đối với th nh phà ần Gauss thứ bk ằng c ch lá ấy trung b nh cì ĩ trọng số ủ c a tất cả các điểm trong t p dậ ữ ệ li u
trong đĩ tr ng s i v i d li u là xác suọ ố đố ớ ữ ệ ất hậu nghiệm ( ) mà thành phần k
tạo nên .
Nếu cho đạo h m cà ủa ln ( | , , ) đối với bằng 0 và lý luận tương tự, bằng c ch sá ử ụ d ng nghiệm cực đại kh hiả ện đối với ma tr n hiậ ệp phương sai của
38
= 1 ( )( )( )T
=1
(1.39) Cơng thức nà ĩ cùy c ng một dạng với kết qu ả tương ứng cho hàm Gauss đơn biến khớp cho t p d liậ ữ ệu trong đĩ mỗi điểm d liữ ệu được gán tr ng s b ng xác su t h u ọ ố ằ ấ ậ
nghiệm tương ứng. C n mị ẫu số cho bởi số lượng thực tế ủ c a các điểm đã gán cho thành phần tương ứng.
Cuối c ng, cù ực đại h a ĩ ln ( | , , ) với c c há ệ ố ỗ s h n hợp cĩ tính đến ràng buộc (1.22) tức là tổng c c há ệ s hố ỗn hợp phải bằng 1. Điều này đạt được bằng cách s dử ụng nhân tửLagrange và cực đại hĩa đại lượng sau đây:
ln ( | , , )+ =1 1 (1.40) T ĩ cĩ: ừ đ 0 = ( | , ) , + (1.41)
Ở đây lại th y xu t hi n c a xác su t h u nghi m. N u nhân c 2 vấ ấ ệ ủ ấ ậ ệ ế ả ế với và lấy tổng theo k với r ng buà ộc (1.22) sẽ cĩ = . Dùng kết quả này để lo i ạ và sắp xếp lại ta cĩ: