2) Đánh giá hiệu suất, hiệu quả
Để có được cái nhìn chính xác nhất về ý tưởng phát hiện mẫu độc dựa trên học máy này, chúng tôi áp dụng các công thức tính tỷ lệ sai số sau:
TPR =
False Positive Rate (FPR): Tỷ lệ xác nhận sai mẫu ác tính FPR =
True Negative Rate (TNR): Tỷ lệ xác nhận chính xác mẫu lành tính TNR =
False Negative Rate (FNR): Tỷ lệ xác nhận sai mẫu lành tính FNR =
Overall Accuracy (ACC): Tỷ lệ xác nhận chính xác trên tổng số mẫu ACC =
Trong đó:
TP (True Positive): Số mẫu ác tính được phát hiện chính xác FP (False Positive): Sỗ mẫu ác tính bị phát hiện sai
TN (True Negative): Số mẫu lành tính được phát hiện chính xác FN (False Negative): Số mẫu lành tính bị phát hiện sai
3.2 Kết quả thực nghiệm
3.2.1 Kết quả
Bảng 3.4: Kết quả của phương pháp
TPR (%) FPR (%) TNR (%) FNR (%) ACC (%)
J48 63 3.3 96.7 36.9 83.2
Logictics 66 10.1 89.8 34 80.2
Tiến hành quan sát thực nghiệm phương pháp trên bộ mẫu đã chọn. Bảng 4 chỉ ra các kết quả chi tiết, hay phần trăm chính xác trên mọi mặt của các mẫu đối chiếu. Có thể thấy, kết quả tổng chính xác của phương pháp áp dụng thuật toán J48 này đạt được lên tới 83.2%. Ngoài ra, để có một đánh giá khách quan, thực hiện so sánh phương pháp áp dụng thuật toán J48 với phương pháp của tác giả Ryo Sato và phương pháp áp dụng thuật toán logictics, phương pháp của tác giả Ryo Sato là một phương pháp có cơ chế tương tự khi cũng áp dụng phân tích tĩnh và quan tâm tới quyền ứng dụng. Hình 3.2 cho biết tỷ lệ chênh lệch giữa ba phương pháp.
63 3.3 96.7 36.9 83.2 66 10.1 89.8 34 80.2 47.1 64.1 74.6 52.8 68.8 0 20 40 60 80 100 120 TPR (%) FPR (%) TNR (%) FNR (%) ACC (%) J48 Logictics Ryo Sato