Để đánh giá độ chính xác, chúng tôi sử dụng độ đo Mean Average Precision (MAP), đây là độ đo phổ biến được dùng để đánh giá các hệ thống truy vấn thông
tin nói chung và truy vấn ảnh mặt người nói riêng. Hơn thế nữa, MAP còn được sử
dụng như độ đo chuẩn trong các cuộc thi quốc tế uy tín như TRECVID workshop [11], PASCAL VOC [12].
Cụ thể, với mỗi truy vấn qi, một danh sách xếp hạng S gồm r kết quả, trong đó có Nr kết quảđúng. Số face track đúng trên toàn bộ cơ sở dữ liệu là Nhit. Khi đó độ
chính xác và độ phủ tính toán cho danh sách xếp hạng S gồm Ns kết quả sẽ là:
Độ chính xác:
Độ phủ:
Giá trị Averarge Precision (AP) ứng với truy vấn được tính như sau:
trong đó, r là hạng, Precision(r) là hàm trả vềđộ chính xác tại hạng r, rel(r) là hàm nhị phân cho biết đây có phải là một kết quảđúng hay không.
Một ví dụ để tính AP được cho trong Hình 4-1. Trong ví dụ này số lượng face track trong cơ sở dữ liệu là N = 10; trong đó có Nhit =5 face track đúng ứng với nhân vật trong face track truy vấn qi. Trong Hình 4-1, các face track ứng với hạng r = 1, 2, 4, 9, 10 là các face track đúng, rel(r) = 1 tại những face track này và bằng 0 tại những vị trí khác. Giá trị AP đối với truy vấn qi được cho như sau (chi tiết tính toán tích Precision(r)×rel(r) được cho trong Bảng 4-1):
MAP của tất cả các truy vấn được tính dựa trên trung bình của các giá trị AP của
nq truy vấn.
r rel(r) Nr Precision( r) Precision(r) × rel(r)
1 1 1 1/1 1/1 2 1 2 2/2 2/2 3 0 2 2/3 0 4 1 3 3/4 3/4 5 0 3 3/5 0 6 0 3 3/6 0 7 0 3 3/7 0 8 0 3 3/8 0 9 1 4 4/9 4/9 10 1 5 5/10 5/10
Hình 4-1: Tính toán giá trị AP cho mỗi truy vấn.
Trong tất cả các thực nghiệm của mình, chúng tôi sẽ dùng mỗi face track trong cơ sở dữ liệu làm câu truy vấn, do đó với số lượng face track trong cơ sở dữ liệu là là 1510 (N = 1510), số câu truy vấn là 1510. Giá trị MAP sẽ được đánh giá trên 1510 truy vấn này và được dùng để so sánh độ chính xác của các phương pháp với nhau.