Trong báo cáo này tơi sử dụng cơng cụ Weka để phân lớp, để thể hiện rõ tính khách quan tơi so sách với thuật tốn NaiveBayes, BayesNet và SVM trên cùng một cơng cụ. Chúng tơi sử dụng phép phân chia 66 - 44 tướng ứng với dữ liệu dùng để đào tạo và test. Kết quả thực nghiệm cho ta thấy theo bảng sau:
Thuật tốn BayesNet NaiveBayes SVM Độ chính xác 89.51 % 91.43 % 92.90 %
Độ sai phạm 10.49 % 8.57 % 7.10 % Bảng 3.2 Bảng kết quả so sánh thực nghiệm Thư rác 1
Ngồi ra tơi cũng sử dụng Cross-validation để thực hiện các vịng lặp cho các thuật tốn, ở đây tơi sử dụng các thơng số cho 5 lần và 10 lần đối với các thuật tốn trên thì tơi thu được kết quả như bảng sau:
Thuật tốn BayesNet NaiveBayes SVM
5 10 5 10 5 10
Độ chính xác 89.24 % 88.85 % 90.33 % 90.15 % 92.13 % 92.15 % Độ sai phạm 10.76 % 11.15 % 9.67 % 9.85 % 7.84 % 7.85 %
Bảng 3.3 Bảng kết quả so sánh thực nghiệm Thư rác 2
Thực nghiệm cho chúng ta thấy sử dụng thuật tốn SVM sẽ được một kết quả tốt hơn so với hai thuật tốn cịn lại. Các thuật tốn đề khơng cĩ sự sai lệch đáng kể khi thức hiện các vịng lặp 5 hay 10 lần tướng ứng với bảng trên.
Tuy nhiên cĩ một vấn đề là khi tơi sử dụng hai phếp phân lớp khác nhau thì cũng cho kết quả tương đương và khơng sai lệnh nhiều. Chúng ta cĩ thể nhìn thấy ở bảng thứ nhất với bảng thứ hai thì khi sử dụng phép phân chia 66 – 44 và vịng lặp
Page 27 thì cho kết quả của SVM tương ứng 92.90 và 92.15 đây là hai thơng số khơng sai số quá nhiều.
Do các thuật tốn cĩ những điểm khác biệt nhau nên các ma trận nhầm lẫn của các thuật tốn cũng thể hiện các thơng số khác nhau, cụ thể được thể hiện qua các hình sau đây.
Hình 3.2 Ma trận nhầm lẫn của thuật tốn SVM
Hình 3.3 Ma trận nhầm lẫn của thuật tốn NaiveBayes
Page 28