Trong những thử nghiệm này, luận văn đã sử dụng các độ đo đánh giá [27] là: Precision, Recall và F-measure thường được áp dụng trong phân loại dữ liệu. Precision là độ đo chính xác và đúng đắn của việc phân loại dữ liệu. Recall là độ đo tính toán vẹn của việc phân lớp dữ liệu.
Ma trận nhầm lẫn (Confusion Matrix) hay còn được gọi là Contingency Table và chỉ được sử dụng đối với bài toán phân loại.
Bảng 3-6: Ma trận nhầm lẫn trong phân loại lớp đối tượng
Lớp ci
Được phân lớp bởi hệ thống
Thuộc Không thuộc
Phân lớp thực sự (đúng) Thuộc TPi FNi Không thuộc FPi TNi
- TPi: Số lượng các ảnh thuộc của người ci được phân loại chính xác cho người ci.
- FPi: Số lượng các ảnh không phải của người ci bị phân loại nhầm cho người ci.
- TNi: Số lượng các ảnh không phải của người ci được phân loại (chính xác).
- FNi: Số lượng các ảnh của người ci bị phân loại nhầm (vào các đối tượng khác ci).
55
Khi đó Precision và Recall đối với lớp ci được tính theo công thức sau:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃𝑖
𝑇𝑃𝑖+ 𝐹𝑃𝑖 (3.1)
𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃𝑖
𝑇𝑃𝑖+ 𝐹𝑁𝑖 (3.2)
Mặc dù Precision và Recall là những độ đo được dùng rộng rãi và phổ biến nhất, nhưng chúng lại gây khó khăn khi phải đánh giá các bài toán phân loại vì hai độ đo trên lại không tăng/giảm tương ứng với nhau. Bài toán đánh giá có Recall cao có thể có Precision thấp và ngược lại. Hơn nữa, việc so sánh mà chỉ dựa trên một mình Precision và Recall không phải là một ý hay. Với mục tiêu đó, độ đo F-measure được sử dụng để đánh giá tổng quát các bài toán phân loại. F-measure là trung bình điều hòa có trọng số của Precision và Recall, và có công thức như sau:
𝐹𝛽 = (1 + 𝛽2). 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑟𝑒𝑐𝑎𝑙𝑙
𝛽2. 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙 (3.3)
Trong đó 𝛽 là một tham số có giá trị nằm giữa 0 và 1. Nếu 𝛽 = 1, F-measure bằng với Precision và nếu 𝛽 = 0, F-measure bằng với Recall. Giữa đoạn đó, giá trị
𝛽 càng cao, độ quan trọng của Precision càng cao so với Recall. Ta sử dụng giá trị thường được dùng là 𝛽 = 0.5 nghĩa là:
𝐹 = 2. 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛. 𝑟𝑒𝑐𝑎𝑙𝑙
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙 (3.4)
Trên đây ta mới chỉ đề cập đến việc tính các độ đo Precision và Recall đối với lớp ci việc phân loại ảnh thường có nhiều lớp dữ liệu vì vậy muốn tính được độ đo Precision và Recall trên toàn bộ tập dữ liệu thử nghiệm, ta tiến hành tính Precision và Recall trên từng lớp ci rồi tiến hành lấy trung bình cộng của chúng để thu được các độ đo trên toàn tập dữ liệu. Như vậy trên toàn tập dữ liệu thử nghiệm gồm 𝑛 lớp ta sẽ có: