12 3.1 Nạve Bayes
3.3.6 Học tham số
Để cụ thể hĩa mạng Bayes và biểu diễn đầy đủ các phân bố xác suất phụ thuộc cĩ điều kiện, đối với mỗi biến X, cần phải chỉ ra phân bố xác suất X theo các cha của X. Phân bố của X theo các cha của nĩ cĩ thể cĩ hình thức bất kỳ. Người ta thường dùng các phân bố rời rạc hay phân bố Gauss, do các phân bố này làm đơn giản việc tính tốn. Đơi khi, khi chỉ biết được các ràng buộc của các phân số; người ta cĩ thể dùng nguyên lý entropy cực đại để xác định một phân bố đơn, phân bố với entropy cực đại thỏa mãn các ràng buộc đĩ. (Tương tự, trong ngữ cảnh cụ thẻ của một mạng Bayes động, người
22
ta thường lấy phân bố cĩ điều kiện cho sự phát triển theo thời gian của trạng thái ẩn để cực đại hĩa hệ số entropy (entropy rate) của quá trình ngẫu nhiên được nĩi đến.)
Thơng thường, các phân bố cĩ điều kiện này bao gồm các tham số chưa biết và phải được ước lượng từ dữ liệu, đơi khi bằng cách tiếp cận khả năng cực đại (maximum likelihood). Việc cực đại hĩa trực tiếp khả năng (hay xác suất hậu nghiệm) thường phức tạp khi cĩ các biến khơng được quan sát. Một cách tiếp cận truyền thống đối với vấn đề này là thuật tốn cực đại hĩa kỳ vọng (expectation-maximization algorithm), thuật tốn này luân phiên giữa việc tính tốn các giá trị mong đợi của các biến khơng được quan sát theo dữ liệu quan sát được, với việc cực đại hĩa khả năng (hay hậu nghiệm) hồn chỉnh với giả thuyết rằng các giá trị mong đợi đã tính được là đúng đắn. Dưới các điều kiện chính quy và vừa phải, quá trình này hội tụ về các giá trị khả năng cực đại (hay hậu nghiệm cực đại) cho các tham số. Một cách tiếp cận Bayes đầy đủ hơn đối với việc học tham số là coi các tham số như là các biến khơng quan sát được khác và tính một phân bố hậu nghiệm đầy đủ trên tồn bộ các nút theo dữ liệu quan sát được, sau đĩ tách các tham số ra. Cách tiếp cận này cĩ thể cĩ chi phí cao và dẫn
đến các mơ hình cĩ số chiều lớn, do đĩ trong thực tế, các cách tiếp cận truyền thống thường được sử dụng hơn.