Kết quả thực nghiệm đánh giá độ chính xác của các thuật toán được cho ởBảng
4-4. Phương pháp mean-cos đạt được giá trị MAP 58.13%, vượt qua phương pháp k-Faces (54.97%), min-min (56.93%), MSM (57.72%) và có thể so sánh với CMSM (58.39%) (đối với min-min và k-Faces, chúng tôi dùng giá trị MAP đã được báo cáo trong [9]). Kết quả này cho thấy việc sử dụng vector trung bình có thể xấp xỉ tốt thành phần thứ nhất trong phân bố của face track và giúp cho phương pháp mean- cos có thểđạt kết quả tương đương với các phương pháp không gian con.
Bảng 4-4: Độ chính xác (MAP) của các thuật toán.
Phương pháp MAP(%) CMSM 58.39 mean-cos 58.13 MSM 57.72 min-min 56.93 k-Faces 54.97
Ví dụHình 4.4 mô tả một kết quả truy vấn của mean-cos và phương pháp không gian con (CMSM và MSM): Hình a là ảnh truy vấn, hình b, c, d lần lượt là truy vấn
với 10 kết quả trên cùng trả về bởi mean-cos, CMSM, MSM; những face track được
đánh dấu màu vàng là những face track đúng. Trong ví dụ này, CMSM cho kết quả
tốt nhất (AP = 95%), tiếp theo là mean-cos (92%) và MSM (86%), nhờ mô tảđược phân bố thứ nhất của dữ liệu thông qua vector trung bình giúp cho kết quả của mean-cos tương đương với các phương pháp biểu diễn không gian con. Mặc dù mean-cos chỉ là thuật toán xấp xỉ phân bố theo hướng chính nhất (so với MSM, CMSM mô tả tất cả các phân bố) nên về mặt lý thuyết mean-cos sẽ cho kết quả thấp hơn MSM, tuy nhiên trong trường hợp này mean-cos lại có thể cho kết quả tốt hơn MSM là do trong thuật toán mean-cos có áp dụng bước chuẩn hóa trung bình-không giúp tăng độ chính xác cho độ đo cosine. Việc chuẩn hóa này chỉ có thể áp dụng trong phương pháp mean-cos mà không thể thực hiện trong các phương pháp dựa trên không gian con là do góc giữa các không gian con được định nghĩa là từ 0 đến 90 độ, trong khi đó việc chuẩn hóa có thể tạo ra những góc lớn hơn 90 độ nên có thể
làm sai lệch khoảng cách thực sự giữa hai face track nếu áp dụng bước chuẩn hóa cho các phương pháp không gian con. Phương pháp mean-cos sử dụng một vector
để biểu diễn cho mỗi face track nên khoảng cách giữa hai face track là khoảng cách giữa hai vector (từ 0 đến 180 độ) nên việc chuẩn hóa sẽ có tác dụng.
Để chứng minh ảnh hưởng của bước chuẩn hóa đối với thuật toán mean-cos và phương pháp không gian con. Luận văn đã tiến hành thực nghiệm trên các thuật toán mean-cos, MSM, CMSM có và không có bước chuẩn hóa. Kết quảđược liệt kê trong Bảng 4-5. Đúng như trong dự đoán, bước chuẩn hóa đã có tác dụng đối với mean-cos giúp độ chính xác tăng từ 57.66% (không có chuẩn hóa) lên 58.13% (khi có chuẩn hóa) trong khi đó chuẩn hóa làm cho việc tính toán góc giữa các không gian con bị sai lệch và kết quả bị ảnh hưởng nghiêm trọng (độ chính xác của CMSM bị giảm xuống 32.15% và của MSM còn 31.58%). Kết quả này cho thấy việc sử dụng một vector để biểu diễn có thể tận dụng được lợi ích của bước chuẩn hóa trung bình-không và giúp nâng cao độ chính xác.
(a) Truy vấn 1506: Will Smith (Nhit = 4)
(b) mean-cos:AP=91.67% (c) CMSM:AP = 95% (d) MSM:AP=86.11%
Hình 4-4: mean-cos xấp xỉ phương pháp không gian con.
Bảng 4-5: Tác dụng của bước chuẩn hóa.
Phương pháp Chuẩn hóa (MAP) Không chuẩn hóa (MAP)
CMSM 32.15 58.39
MSM 31.58 57.72
(a) Truy vấn 715: Phát thanh viên CNN (Nhit = 27).
(b) mean-cos:AP =14.75% (c) CMSM:AP = 49.12% (d) MSM:AP=30.02%
Hình 4-5: Một trường hợp không tốt của mean-cos.
Mặc dù với bước chuẩn hóa giúp cho mean-cos có thể vượt qua MSM, tuy nhiên cũng có trường hợp mean-cos tỏ ra hoạt động kém như trong Hình 4-5. Trong ví dụ
này, mặc dù cả mean-cos và MSM trong 10 kết quả trả về trên cùng đều có 2 kết quảđúng, tuy nhiên kết quảđúng thứ hai của MSM cho thứ hạng cao hơn mean-cos. Có thể thấy rằng, trong kết quả trả về của mean-cos có những face track của nhân vật khác có khuôn mặt khá giống với face track truy vấn. Trong trường hợp này khả
năng biểu diễn nhiều hướng phân bố dữ liệu giúp cho CMSM, MSM ít bị sai sót hơn so với mean-cos.
(a) Truy vấn 859: Condoleezza Rice (Nhit = 37).
(b)CMSM: AP = 35.28% (c)mean-cos: AP = 25.49% (d)MSM:AP =18.6%
(e) min-min:AP = 9.13% (f)k-Faces:AP = 5.47%
Hình 4-6: k-Faces có độ chính xác thấp hơn các phương pháp khác.
Hình 4-6 cho thấy kết quả của k-Faces thấp hơn so với các phương pháp khác. Có thể thấy rằng, việc chỉ lấy mẫu k ảnh cho mỗi face track mặc dù có thể giúp cho
quá trình tính toán nhanh chóng nhưng đã làm giảm đi độ chính xác trong việc biểu diễn face track và dẫn tới kết quả so khớp thấp hơn những phương pháp khác.