Hiệu quả nhận dạng virus của hệ MAV được tổng hợp từ kết quả chẩn đoán của năm bài toán học (Bảng 4.8).
Bảng 4.8:Các chỉ số chất lượng nhận dạng virus của MAV
Lớp virus Độ chính xác (%) Độ dự báo (%) Độ tin cậy (%)
A-class 97.92 91.68 95.70 B-class 97.92 86.27 95.24 C-class 99.05 05.00 67.72 D-class 98.71 94.76 98.21 E-class 94.38 99.03 99.09 Toàn bộ 97.60 75.35 91.19
Đểđánh giá tiếp cận học nhận dạng virus máy tính, cần đối chiếu thử nghiệm với các anti-virus khác trong cùng điều kiện (kiến trúc máy, hệđiều hành, tập virus mẫu, tập dữ liệu trộn…). Tuy nhiên, việc thực nghiệm gặp nhiều khó khăn do:
- Quy ước đặt tên, phân loại virus của các AV khác nhau. Cùng một virus (hoặc các thể hiện của virus), mỗi AV có cảnh báo với tên gọi, số lượng virus trong họ khác nhau. Vì vậy việc tổng hợp, so sánh số liệu gặp nhiều khó khăn do dữ liệu báo cáo không thuần nhất.
- Các anti-virus tên tuổi đều có CSDL virus khá lớn. Để giảm chi phí tài nguyên, các AV thường không công bố danh sách virus được cập nhật.
- 92 -
Do khó xác định được số virus tương ứng đã cập nhật trong CSDL (Associated Viruses In Database) của từng AV so với các virus trong tập dữ liệu thử nghiệm, nên đề tài chỉ tiến hành thu thập số liệu đo độ dự báo (Proactive detection) và độ tin cậy (Reliability) của các AV. Các bước thử nghiệm thực hiện như sau:
- Trộn năm tập mẫu virus (gồm 8896 virus trong các thử nghiệm trước đây của MAV), sử dụng làm tập mẫu kiểm nghiệm chung. Các AV thử nghiệm gồm
Bit Defender [73], Norton 2007 [89], NOD32 [82] và Panda [85].
- Kích hoạt các chức năng chẩn đoán heuristic và proactive của các AV, chạy thử nghiệm trên tập mẫu. Ghi nhận số liệu thực nghiệm†.
- Tính toán các đặc trưng chẩn đoán của các AV (Bảng 4.9 và Hình 4.18).
Bảng 4.9:Kết quả kiểm tra các hệ anti-virus
Anti-virus Phát hiện Dự báo Độ dự báo (%) Độ tin cậy (%)
Bit Defender 7931 753 78.03 97.62
Norton 2007 7924 735 75.62 97.34
NOD32 8003 771 86.34 98.63
Panda 7945 731 76.87 97.53
Kết quả cho thấy MAV có độ dự báo xấp xỉ với độ dự báo trung bình của các AV thử nghiệm (75.35% so với 79.28%). Thực tế, phần lớn virus mẫu trong tập dữ liệu thử nghiệm đều đã được các AV cập nhật, nên số virus được các AV phát hiện nhiều hơn số virus dự báo. Mặt khác, tiếp cận học chỉ hiệu quả khi có đủ tri thức (tập ví dụ có nhiều mẫu ‘tương tự’ nhau), trong khi việc chọn mẫu thử được thực hiện ngẫu nhiên trên tất cả các lớp. Điều này lý giải tại sao độ tin cậy thực nghiệm của MAV thấp hơn độ tin cậy trung bình của các AV khác (91.19% so với 97.78%).