Các thước đo đánh giá bao gồm:
• Confusion matrix: hay còn gọi là ma trận lỗi, là một khái niệm trong học máy cho phép mô phỏng về hoạt động của một thuật toán dưới dạng bảng. Mỗi cột của ma trận đại diện cho các instance của 1 lớp dự đoán, trong khi mỗi hàng đại diện cho các vector đặc trưng trong một lớp thực tế.
Nó có dạng:
Lớp Ci Lớp dự đoán
Lớp thực tế Lớp = YES Lớp = NO
Lớp = YES True positive(TP) False positive(FP)
Lớp = NO False
negative(FN)
True negative(TN)
Bảng 3-2 : Bảng ma trận confusion
+ TP : số lượng các ví dụ thuộc lớp hoạt động bình thường được phân loại đúng vào lớp hoạt động bình thường.
+ FP : số lượng các ví dụ không thuộc lớp hoạt động bình thường được phân vào lớp hoạt động bình thường.
+ TN : số lượng các ví dụ thuộc lớp hoạt động bất thường được phân vào lớp hoạt động bất thường.
+ FN : số lượng các vị dụ không thuộc lớp hoạt động bất thường được phân vào lớp hoạt động bất thường.
• Tỉ lệ lớp được nhận dạng chính xác (true positive + true negative): Tỷ lệ theo phần trăm số vector đặc trưng được gán lớp đúng trên tổng số vector đặc trưng được kiểm thử
• Tỉ lệ lớp được nhận dạnh không chính xác(false positive + false negative): Tỷ lệ theo phần trăm số vector đặc trưng được gán lớp sai trên tổng số vector đặc trưng được kiểm thử.
• accuracy : Đó là tỷ lệ của các đối tượng được dán nhãn chính xác cho toàn bộ nhóm đối tượng.
accuracy = (3.1)
• Precision và recall hay còn gọi là độ chính xác và độ bao phủ.
Precision - độ chính xác : xác định các phần của hồ sơ mà thực sự hóa ra là tích cực trong các nhóm phân loại. Tính bằng tổng số các ví dụ thuộc lớp Ci phân loại chính xác chia cho tổng số các ví dụ được phân loại vào lớp ci.