Bài giảng Nhập môn trí tuệ nhân tạo - Chương 5: Phân lớp Bayes trình bày các nội dung: Phân lớp Bayes - Tại sao, tính xác suất a a-posteriori, phân lớp Naive Bayesian, phân lớp Naive Bayesian - Giả thiết độc lập, độ chính xác trong phân lớp,... Mời các bạn tham khảo.
Phân lớp Bayes Phân lớp Bayes: Tại sao? (1) • Học theo xác suấ suất: o tính xác suất rõ ràng cho giả thiết o hướng thiết thực cho số vấn đề thuộc loại học • Có tăng trưở trưởng: ng o mẫu huấn luyện tăng/giảm dần khả giả thiết o tri thức ưu tiên kết hợp với liệu quan sát Phân lớp Bayes: Tại sao? (2) • Dự đố đốn theo xác suấ suất: o dự đoán nhiều giả thiết, trọng số cho khả xảy chúng • Chuẩ Chuẩn: o Ngay phương pháp Bayes khó tính tốn, chúng cung cấp chuẩn để tạo định tới ưu so phương pháp khác Phân lớp Bayes • Bài tốn phân lớp hình thức hóa xác suấ suất a-posteriori: P(C|X) ) = xác suất mẫu P( X= thuộc lớp C • Ví dụ P(class= =N | outlook=sunny,windy=true,…)) P( • Ý tưở tưởng: ng: gán cho mẫu X nhãn phân lớp C cho P(C|X) ) lớn P( Tính xác suất a-posteriori • Định lý Bayes: Bayes P(C|X) ) = P(X|C) )· P(C) P( P( P( ) / P(X) P( ) • P(X) P( ) số cho tất lớp • P(C) P( ) = tần số liên quan mẫu thuộc lớp C • C cho P(C|X) lớn = P( C sap cho P(X|C) ) · P(C) P( P( ) lớn • Vấn đề: tính P(X|C) ) khơng khả thi! P( Phân lớp Nạve Bayesian • Thừa nhận Nạve: độc lập thuộ thuộc tính P(x P( 1,…,xk|C)) = P(x P( 1|C))·…· P(x P( k|C)) • Nếu thuộc tính thứ i rời rạc: P(x P( i|C)) ước lượng tần số liên quan mẫu có giá trị xi cho thuộc tính thứ i lớp C • Nếu thuộc tính thứ i liên liên tụ tục: P(x P( i|C)) ước lượng thông qua hàm mật độ Gaussian • Tính tốn dễ dàng hai trường hợp Phân lớp Naïve Bayesian – Ví dụ Outlook sunny sunny overcast rain rain rain overcast sunny sunny rain sunny overcast overcast rain Temperature Humidity Windy Class hot high false N hot high true N hot high false P mild high false P cool normal false P cool normal true N cool normal true P mild high false N cool normal false P mild normal false P mild normal true P mild high true P hot normal false P mild high true N Phân lớp Nạve Bayesian – Ví dụ (1) • Ứơc lượng P(x P( i|C)) P(p p) = 9/14 P(n n) = 5/14 Thời tiết P(nắng | p) = 2/9 P(u ám | p) = 4/9 P(mưa | p) = 3/9 Nhiệt độ P(nóng | p) = 2/9 P(ấm áp | p) = 4/9 P(mát | p) = 3/9 P(nắng | n) = 3/5 P(u ám | n) = P(mưa | n) = 2/5 Độ ẩm P(cao | p) = 3/9 P(vừa | p) = 6/9 P(cao | n) = 4/5 P(vừa | n) = 1/5 P(nóng | n) = 2/5 P(ấm áp | n) = 2/5 P(mát | n) = 1/5 Gió P(có | p) = 3/9 P(khơng | p) = 6/9 P(có | n) = 3/5 P(fkhơng | n) = 2/5 Phân lớp Nạve Bayesian – Ví dụ (2) • Phân lớp X: o mẫu chưa thấy X = o P(X|p) P( )· P(p) P( ) = P(mưa|p) )· P(nóng|p) )· P(cao|p) )· P(không|p) )· P(p) P( P( P( P( P( ) = 3/9·2/9·3/9·6/9·9/14 = 0.010582 o P(X|n) P( )· P(n) P( ) = P(mưa|n) )· P(nóng|n) )· P(cao|n) )· P(khơng|n) )· P(n) P( P( P( P( P( ) = 2/5·2/5·4/5·2/5·5/14 = 0.018286 o Mẫu X phân vào lớp n (không chơi tennis) Phân lớp Naïve Bayesian – giả thuyết độc lập • … làm cho tính tốn • … cho phân lớp tối ưu thỏa u cầu • … u cầu thỏa thực tế thuộc tính (các biến) thường có liên quan với • Những cố gắng khắc phục điểm hạn chế này: o Các mạng Bayes (Bayesian networks), networks) kết hợp lý luận Bayes với mối quan hệ nhân thuộc tính o Các quyế đị định, nh lý luận thuộc tính thời điểm, xét thuộc tính quan trọng trước 10 Các phương pháp phân lớp khác Các phương phá pháp khác • • • • • • Mạng Neural Phân lớp k láng giề giềng gần nhấ Suy luậ luận dựa vào trườ trường hợp Thuậ Thuật toá toán di truyề truyền Hướ Hướng tập thô Các hướ hướng tập mờ 11 Độ xác phân lớp Ước lượ lượng tỉ lệ sai: sai: • Phân hoạ hoạch: ch huấn luyện kiểm tra (những tập liệu lớn) o dùng hai tập liệu độc lập , tập huấn luyện (2/3), tập kiểm tra (1/3) • Kiể Kiểm tra ché chéo (những tập liệu vừa) o chia tập liệu thành k mẫu o sử dụng k-1 mẫu làm tập huấn luyện mẫu làm tập kiểm tra - kiểm tra chép k thành phần • Bootstrapping: Bootstrapping xóa - leave-one-out (những tập liệu nhỏ) 12 Tóm tắt (1) • Phân lớ lớp là vấ vấn đề đề nghiên cứu bao quát • Phân lớ lớn có có khả khả là nhữ kỹ kỹ thuậ thuật khai phá phá liệ liệu đượ dù dùng rộ rộng rãi nhấ vớ với rấ nhiề nhiều mở mở rộng 13 Tóm tắt (2) • Tính uyể uyển chuyể chuyển vẫ là vấ vấn đề đề quan trọ trọng củ tấ tất cá ứng dụ dụng sở sở liệ liệu • Các hướ hướng nghiên cứu: phân lớ lớp dữ liệ liệu khơngkhơngquan hệ ệ , ví í d ụ text, , không gian đa h v text v phương tiệ tiện 14 ... p) = 6/9 P(cao | n) = 4 /5 P(vừa | n) = 1 /5 P(nóng | n) = 2 /5 P(ấm áp | n) = 2 /5 P(mát | n) = 1 /5 Gió P(có | p) = 3/9 P(khơng | p) = 6/9 P(có | n) = 3 /5 P(fkhơng | n) = 2 /5 Phân lớp Nạve Bayesian... liệu vừa) o chia tập liệu thành k mẫu o sử dụng k-1 mẫu làm tập huấn luyện mẫu làm tập kiểm tra - kiểm tra chép k thành phần • Bootstrapping: Bootstrapping xóa - leave-one-out (những tập liệu nhỏ)... P( ) = 3/9·2/9·3/9·6/9·9/14 = 0.01 058 2 o P(X|n) P( )· P(n) P( ) = P(mưa|n) )· P(nóng|n) )· P(cao|n) )· P(khơng|n) )· P(n) P( P( P( P( P( ) = 2 /5? ?2 /5? ?4 /5? ?2 /5? ?5/ 14 = 0.018286 o Mẫu X phân vào lớp