Kiểu tấn cơng Bộ phân loại
cơ sở Precision Recall F-Measure AUC
Normal KNN 95,90% 71,40% 80,90% 95,90% Backdoor NB 03,40% 66,40% 06,40% 93,60% Analysis LR 01,00% 08,10% 02,10% 93,40% Fuzzers LR 26,50% 67,90% 37,90% 88,00% Shellcode KNN 36,80% 57,90% 27,70% 97,60% Reconnaissance KNN 48,70% 70,20% 57,50% 95,70% Exploits KNN 72,70% 83,00% 65,00% 93,00% DoS KNN 76,50% 12,30% 20,00% 92,60% Worms DT 42,90% 15,90% 19,40% 96,90% Generic KNN 99,80% 96,60% 98,10% 99,20%
Qua kết quả đạt được, chúng tơi cĩ một số nhận xét:
- Trường hợp sử dụng đánh giá chéo 10-fold phần lớn vẫn cho kết quả tốt hơn so với trường hợp sử dụng tập kiểm tra riêng. Điều đĩ cho thấy tập kiểm tra cĩ nhiều mẫu phức tạp với các kiểu tấn cơng tổng hợp đương đại.
- Việc sử dụng đánh giá chéo 10-fold dễ dẫn đến hiện tượng vừa khớp dữ liệu (overfitting).
- Kỹ thuật kết hợp Voting khơng mất nhiều thời gian tính tốn so với các kỹ thuật kết hợp khác như Bagging, Boosting và Stacking.
4.6.1.5. Kỹ thuật kết hợp Random Forest
Tập dữ liệu huấn luyện trong tập dữ liệu UNSW-NB15 sau giai đoạn tiền xử lý dữ liệu gồm 175.341 bản ghi và 189 thuộc tính.
Với kiểu tấn cơng sử dụng thuật tốn RandomForest trên
- Trường hợp sử dụng đánh giá chéo k-fold:
Trường hợp việc huấn luyện và kiểm tra được thực hiện trên cùng một tập dữ liệu sử dụng đánh giá chéo 10-fold (tham khảo phục lục 3.4). Thời gian xây dựng mơ
hình là 1.816,14 giây. Kết quả kiểm tra, đánh giá được thể hiện như ở Bảng 4.73. Với kết quả này ta thấy kiểu tấn cơng Generic cho kết quả rất cao trên tất cả các chỉ số Precision, Recall, F-Measure và AUC lần lượt là 99,80%, 97,90%, 98,90%
và 99,50%; cịn kiểu tấn cơng Reconnaissance cho kết quả cao đối với chỉ số Precision
và AUC là 91,10% và 93,10%. Với mơ hình này kết quả Corectly Classified Instance cho kết quả là 82.30%.