3. Cấu trúc luận văn
2.5 Đánh giá mô hình phân lớp
Không thể khẳng định một phương pháp phân lớp nào là chính xác hoàn toàn. Bất kỳ phương pháp nào cũng có độ sai lệch. Vì vậy việc đưa ra độ đo để đánh giá hiệu quả của thuật toán phân lớp giúp ta có thể xác định được mô hình nào là tốt nhất, kém nhất, từ đó áp dụng thuật toán đó vào việc phân lớp.
Confusion matrix là một kỹ thuật đánh giá hiệu năng của mô hình cho các bài toán phân lớp. Confusion matrix là một ma trận thể hiện số lượng điểm dữ liệu thuộc vào một class và được dự đoán thuộc vào class.
Confusion matrix cung cấp thêm thông tin về tỉ lệ phân lớp đúng giữa các lớp, hay giúp phát hiện các lớp có tỉ lệ phân lớp nhầm cao nhờ vào các khái niệm True (False) Positive (Negative).
Predicted Class Actual
Class
Positive Negative
Positive True Positive (TP) Flase Negative (FN)
Negative False Positive (FP) True Negative (TN)
• True Positive (TP): đối tượng ở lớp Positive, mô hình phân đối tượng vào lớp Positive (dự đoán đúng)
41
• True Negative (TN): đối tượng ở lớp Negative, mô hình phân đối tượng vào lớp Negative (dự đoán đúng)
• False Positive (FP): đối tượng ở lớp Negative, mô hình phân đối tượng vào lớp Positive (dự đoán sai) – Type I Error
• False Negative (FN): đối tượng ở lớp Positive, mô hình phân đối tượng vào lớp Negative (dự đoán sai) – Type II Error
Với những thông tin có được từ Confusion matrix, có thể định lượng độ hiệu quả của mô hình qua nhiều thang đo khác nhau. Độ hồi tưởng (Recall) và độ chính xác (Precision), và độ đo F1-score được dùng để đánh giá chất lượng của thuật toán phân lớp.
Precision: là tỉ lệ số điểm true positive trong số những điểm được phân loại
là positive (TP + FP). Precision cao đồng nghĩa với việc độ chính xác của các điểm tìm được là cao.
precision = TP
TP + FP× 100% (2.30)
Recall: là tỉ lệ số điểm true positive trong số những điểm thực sự là positive
(TP + FN). Recall cao đồng nghĩa với việc True Positive Rate cao, tức tỉ lệ bỏ sót các điểm thực sự positive là thấp.
recall = TP
TP + FN× 100% (2.31)
F1-score: là một trung bình điều hòa (harmonic mean) của các tiêu chí
Precision và Recall. Một mô hình có chỉ số F1-score cao chỉ khi cả 2 chỉ số Precision và Recall để cao. Một trong hai chỉ số này thấp đều sẽ kéo điểm F1- score xuống.
F# score = 2 × recall × precision
recall + precision (2.32)