Nạve Bayes (NB) [6] là phương pháp phân loại dựa vào xác suất, được coi là một trong những thuật tốn phân lớp điển hình nhất trong học máy và khai phá dữ liệu, đặc biệt được sử dụng rộng rãi trong phân lớp văn bản.
Trong học máy,Nạve Bayes thường được coi như thuật tốn học máy chuẩn để so sánh với các thuật tốn khác .
Ý tưởng cơ bản của thuật tốn này là sử dụng xác suất cĩ điều kiện giữa từ hoặc cụm từ và chủ đề để dự đốn xác suất chủ đề của một văn bản cần phân loại. Điểm quan trọng của phương pháp này chính là ở chỗ giả định rằng sự xuất hiện của tất cả các từ trong văn bản đều độc lập với nhau. Như thế NB khơng tận dụng được sự phụ thuộc của nhiều từ vào một chủ đề cụ thể. Chính giả định đĩ làm cho việc tính tốn NB hiệu quả và nhanh chĩng hơn các phương pháp khác với độ phức tạp theo số mũ vì nĩ khơng sử dụng cách kết hợp các từ để đưa ra phán đốn chủ đề. Thuật tốn Nạve Bayes dựa trên định lý Bayes được phát biểu như sau:
𝑃(𝑌|𝑋) = 𝑃(𝑋𝑌)
𝑃(𝑋) =𝑃(𝑋|𝑌)𝑃(𝑌)
𝑃(𝑋) (2.1) Áp dụng trong bài tốn phân loại, các dữ kiện gồm cĩ:
D: tập dữ liệu huấn luyện đã được vector hĩa dưới dạng 𝑥⃗ = (𝑥1, 𝑥2, … , 𝑥𝑛) Ci: phân lớp i, với i = {1,2,…,m}.
Theo định lý Bayes:
𝑃(𝐶𝑖|𝑋) =𝑃(𝑋|𝐶𝑖)𝑃(𝐶𝑖)
𝑃(𝑋) (2.2) Theo tính chất độc lập điều kiện:
𝑃(𝑋|𝐶𝑖) = ∏𝑛 𝑃(𝑥𝑘|𝐶𝑖)
𝑘=1 (2.3) Trong đĩ:
𝑃(𝐶𝑖|𝑋) là xác suất thuộc phân lớp i khi biết trước mẫu X. 𝑃(𝐶𝑖) xác suất là phân lớp i.
𝑃(𝑥𝑘|𝐶𝑖) xác suất thuộc tính thứ k mang giá trị xk khi đã biết X thuộc phân lớp i.
Các bước thực hiện thuật tốn Nạve Bayes:
Bước 1: Huấn luyện Nạve Bayes (dựa vào tập dữ liệu), tính 𝑃(𝐶𝑖) và 𝑃(𝑥𝑘|𝐶𝑖)
Bước 2: Phân lớp 𝑋𝑛𝑒𝑤 = (𝑥1, 𝑥2, … , 𝑥𝑛), ta cần tính xác suất thuộc từng phân lớp khi đã biết trước Xnew. Xnew được gán vào lớp cĩ xác suất lớn nhất theo cơng thức
max
𝐶𝑖∈𝐶(𝑃(𝐶𝑖) ∏𝑛 𝑃(𝑥𝑘|𝐶𝑖)
𝑘=1 ) (2.4) Ngồi ra cịn cĩ các phương pháp NB khác cĩ thể kể ra như ML Nạve Bayes, MAP Nạve Bayes, Expected Nạve Bayes.
Nĩi chung Nạve Bayes là một cơng cụ rất hiệu quả trong học máy nĩi chung và phân loại văn bản nĩi riêng. Kết quả của thuật tốn cĩ thể rất xấu nếu dữ liệu huấn luyện nghèo nàn và các tham số dự đốn (như khơng gian đặc trưng) cĩ chất lượng kém. Đây là một thuật tốn phân loại tuyến tính thích hợp trong phân loại văn bản nhiều chủ đề.
NB cĩ ưu điểm là cài đặt đơn giản, tốc độ thực hiện thuật tốn nhanh, dễ dàng cập nhật dữ liệu huấn luyện mới và cĩ tính độc lập cao với tập huấn luyện.