2.4 Các phương pháp phân loại văn bản
2.4.1 Phương pháp pháp Nạve Bayes (NB)
Nạve Bayes là phương pháp phân loại dựa vào xác suất được sử dụng rộng rãi trong lĩnh vực máy học và nhiều lĩnh vực khác như trong các cơng cụ tìm kiếm, các bộ lọc mail, … [6].
Ý tưởng cơ bản của cách tiếp cận này là sử dụng xác suất cĩ điều kiện giữa từ hoặc cụm từ và chủ đề để dự đốn xác suất chủ đề của một văn bản cần phân loại. Điểm quan trọng của phương pháp này chính là ở chỗ giả định rằng sự xuất hiện của tất cả các từ trong văn bản đều độc lập với nhau. Như thế NB
khơng tận dụng được sự phụ thuộc của nhiều từ vào một chủ đề cụ thể. Chính giả định đĩ làm cho việc tính tốn NB hiệu qủa và nhanh chĩng hơn các phương pháp khác với độ phức tạp theo số mũ vì nĩ khơng sử dụng cách kết hợp các từ để đưa ra phán đốn chủ đề.
Định lý Bayes cho phép tính xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra. Xác suất này được ký hiệu là P(A|B), và đọc là “xác suất của A nếu cĩ B”. Đại lượng này được gọi xác suất cĩ điều kiện hay xác suất hậu nghiệm vì nĩ được rút ra từ giá trị được cho của B hoặc phụ thuộc vào giá trị đĩ.
Theo định lí Bayes, xác suất xảy ra A khi biết B sẽ phụ thuộc vào 3 yếu tố:
Xác suất xảy ra A của riêng nĩ, khơng quan tâm đến B. Kí hiệu là P(A) và đọc là xác suất của A. Đây được gọi là xác suất biên duyên hay xác suất tiên nghiệm, nĩ là “tiên nghiệm” theo nghĩa rằng nĩ khơng quan tâm đến bất kỳ thơng tin nào về B.
Xác suất xảy ra B của riêng nĩ, khơng quan tâm đến A. Kí hiệu là P(B) và đọc là “xác suất của B”. Đại lượng này cịn gọi là hằng số chuẩn hĩa (normalising constant), vì nĩ luơn giống nhau, khơng phụ thuộc vào sự kiện A đang muốn biết.
Xác suất xảy ra B khi biết A xảy ra. Kí hiệu là P(B|A) và đọc là “xác suất của B nếu cĩ A”. Đại lượng này gọi là khả năng (likelihood) xảy ra B khi biết A đã xảy ra. Chú ý khơng nhầm lẫn giữa khả năng xảy ra B khi biết A và xác suất xảy ra A khi biết B.
Mục đích chính là làm sao tính được xác suất Pr(Cj, d’), xác suất để văn bản d’nằm trong lớp Cj. Theo luật Bayes, văn bản d’ sẽ được gán vào lớp Cj nào cĩ xác suất Pr(Cj, d’) cao nhất.
𝐻𝐵𝐴𝑌𝐸𝑆(𝑑′) = 𝑎𝑟𝑔𝑚𝑎𝑥 [ Pr (𝐶𝑗) ∏ Pr (𝑤𝑖|𝐶𝑗) |𝑑′| 𝑖=1 ∑𝑐′∈𝑐Pr (𝐶𝑗) ∏|𝑑𝑖=1′|Pr (𝑤𝑖|𝐶𝑗) ] 𝑐𝑗∈𝐶 (2.6) Với :
- TF(wi, d’) là số lần xuất hiện của từ wi trong văn bản d’ - |d’| là số lượng các từ trong văn bản d’
- wi là một từ trong khơng gian đặc trưng F với số chiều là |F| - Pr(Cj) được tính dựa trên tỷ lệ phần trăm của số văn bản mỗi lớp
tương ứng.
Pr(𝐶𝑗) = ‖𝐶𝑗‖
‖𝐶‖ =
‖𝐶𝑗‖ ∑𝐶′∈𝐶‖𝐶′‖ trong tập dữ liệu huấn luyện
𝑃𝑟(𝑤𝑖|𝐶𝑗) = 1 + 𝑇𝐹(𝑤𝑖, 𝑐𝑗) |𝐹| + ∑𝑤′∈ |𝐹|𝑇𝐹(𝑤′, 𝑐𝑗)
Ngồi ra cịn cĩ các phương pháp NB khác cĩ thể kể ra như ML Nạve Bayes, MAP Nạve Bayes, Expected Nạve Bayes. Nĩi chung Nạve Bayes là một cơng cụ rất hiệu quả trong một số trường hợp. Kết quả cĩ thể rất xấu nếu dữ liệu huấn luyện nghèo nàn và các tham số dự đốn (như khơng gian đặc trưng) cĩ chất lượng kém. Nhìn chung, đây là một thuật tốn phân loại tuyến tính thích hợp trong phân loại văn bản nhiều chủ đề. NB cĩ ưu điểm là cài đặt đơn giản, tốc độ thực hiện thuật tốn nhanh, dễ dàng cập nhật dữ liệu huấn luyện mới và cĩ tính độc lập cao với tập huấn luyện.