CHƯƠNG 3 Naive Bayes

CHƯƠNG 3: PHÂN LỚP Phương pháp Naïve Bayes Classification – Naïve Bayes method Nội dung ▪ Phương pháp Bayes ▪ Bộ phân lớp Nạve Bayes ▪ Ví dụ minh hoạ ▪ Triển khai xây dựng mơ hình Nạve Bayes Weka ▪ Lập trình sử dụng mơ hình Nạve Bayes Weka API Phương pháp Bayes Lý thuyết Bayes miêu tả ngắn gọn sau ▪ Cho X liệu đo n thuộc tính khác ▪ Cho H giả thuyết (ví dụ: X thuộc phân lớp C) ▪ Đối với toán phân lớp, muốn xác định P(H|X) – xác suất xảy H X xảy Đây gọi xác suất hậu nghiệm Ví dụ ▪ X dùng để mơ tả khách hàng thuộc tính tuổi tác thu nhập Và H giả thuyết khách hàng mua máy vi tính Khi 𝑷(𝑯|𝑿) biểu đạt xác suất khách hàng X mua máy vi tính biết tuổi tác thu nhập khách hàng Ngược lại 𝑷(𝑯) đươc gọi xác suất tiên nghiệm Theo lý thuyết Bayes: 𝑃 𝑋 𝐻 𝑃(𝐻) 𝑃 𝐻𝑋 = 𝑃(𝑋) Nguyên tắc hoạt động phân lớp Naïve Bayes Cho D tập liệu huấn luyện với nhãn lớp tương ứng Như thường lệ, liệu mô tả n thuộc tính diễn đạt dạng vector n chiều 𝑿 = (𝒙𝟏 , 𝒙𝟐 , … , 𝒙𝒏 ) Giả sử có m nhãn lớp khác gồm 𝑪𝟏 , 𝑪𝟐 , … , 𝑪𝒎 Cho liệu X, phân lớp dự đốn X thuộc phân lớp có xác suất hậu nghiệm cao 𝑃 𝐶𝑖 𝑋 > 𝑃 𝐶𝑗 𝑋 𝑣ớ𝑖 ≤ 𝑗 ≤ 𝑚, 𝑗 ≠ 𝑖 𝑃 𝑋 𝐶𝑖 𝑃(𝐶𝑖 ) 𝑃 𝐶𝑖 𝑋 = 𝑃(𝑋) Do P(X) không đổi, nên ta cần cực đại hóa giá trị 𝑃 𝑋 𝐶𝑖 𝑃(𝐶𝑖 ) Ví dụ (nguồn: stackoverflow) ▪ Dữ liệu huấn luyện minh hoạ hình bên ▪ Có lớp: xanh đỏ; N: tổng số đối tượng ▪ P(xanh) = |xanh|/N = 40/60 ▪ P(đỏ) = |đỏ|/N = 20/60 Ví dụ (tt) ▪ Với xác suất tiên nghiệm xác định trên: P(xanh) P(đỏ) xác định nhãn lớp cho đối tượng x hình ▪ Lấy x làm tâm, vẽ vòng tròn giới hạn đối tượng lân cận với x, tính: ▪ P(x|xanh) = |xanh lân cận|/|xanh| = 1/40 ▪ P(x|đỏ) = |đỏ lân cận|/|đỏ| = 3/20 Ví dụ (tt) ▪ 𝑃 𝑥𝑎𝑛ℎ 𝑥 = 𝑃 𝑥 𝑥𝑎𝑛ℎ 𝑃 𝑥𝑎𝑛ℎ = 40 × = 40 60 60 ▪ 𝑃 đỏ 𝑥 = 𝑃 𝑥 đỏ 𝑃 đỏ = 20 60 = 20 ▪ x gán nhãn đỏ 20 × Xây dựng mơ hình Nạve Bayes Weka Xây dựng mơ hình Nạve Bayes Weka (tt) Xây dựng mơ hình Nạve Bayes Weka (tt) Xây dựng mơ hình Nạve Bayes Weka (tt) Lập trình sử dụng mơ hình Nạve Bayes Weka API KẾT THÚC ... Phương pháp Bayes ▪ Bộ phân lớp Nạve Bayes ▪ Ví dụ minh hoạ ▪ Triển khai xây dựng mơ hình Nạve Bayes Weka ▪ Lập trình sử dụng mơ hình Nạve Bayes Weka API Phương pháp Bayes Lý thuyết Bayes miêu... cận|/|đỏ| = 3/ 20 Ví dụ (tt) ▪