Để đánh giá độ chính xác của các phương pháp tìm kiếm ảnh NVLV sử
dụng cơ sở dữ liệu ảnh gồm 1000 ảnh như đã nêu trong phần 2.7.2. Việc thử
nghiệm được tiến hành bằng cách cho lần lượt 1000 ảnh trong cơ sở dữ liệu làm ảnh truy vấn. Với mỗi lần truy vấn xem có bao nhiêu ảnh có nội dung tương tự với ảnh truy vấn. NVLV sử dụng tham sốprecision khi số lượng ảnh lấy ra khác nhau: 10, 20, 50, 100, 200, 500. Sau đó tính precision trung bình của tất cả 1000 ảnh truy vấn đó. Bảng 2.4 liệt kê giá trị trung bình của
precision với các phương pháp khác nhau. Có một chú ý là: với cơ sở dữ liệu
ảnh thử nghiệm này khi số lượng ảnh lấy ra là 100 thì tại đó recall=precision.
Bảng 2.4 Giá trị precision của các phương pháp khi số lượng ảnh lấy ra khác nhau
Sốảnh lấy ra Entropy-Mean HistogramRGB HistogramCIELAB Hybrid100
10 0.562 0.637 0.633 0.645 20 0.499 0.557 0.561 0.571 50 0.428 0.439 0.456 0.462 100 0.370 0.323 0.354 0.370 200 0.261 0.226 0.256 500 0.160 0.143 0.154
Chú ý: Phương pháp “Hybrid100” kết hợp “So sánh Entropy-giá trị trung bình” và “So sánh biểu đồ màu”. Trong đó, phương pháp “So sánh Entropy-
giá trị trung bình” thu hẹp không gian tìm kiếm xuống còn 100 ảnh. Do vậy,
việc tính precision chỉđược thực hiện với số lượng ảnh lấy ra không quá 100. Hình 2.26 biểu diễn giá trị của precision dưới dạng biểu đồ. Có thể đưa ra nhận xét rằng:
• Phương pháp “HistogramCIELAB” và “Hybrid100” cho precision
cao nhất trong hầu hết các trường hợp.
• Khi số lượng ảnh lấy ra nhỏ hơn 100 thì phương pháp “Entropy- Mean” có precision thấp hơn các phương pháp khác.
• Khi số lượng ảnh lấy ra lớn hơn 20 thì phương pháp “HistogramRGB” có độ chính xác kém hơn hai phương pháp “HistogramCIELAB” và “Hybrid100”
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 10 100 1000 Sè l−îng ¶nh lÊy ra Precision Entropy-Mean HistogramCIELAB HistogramRGB Hybrid100
Hình 2.26 Giá trịprecision của các phương pháp khi số lượng ảnh lấy ra khác nhau
Việc đánh giá, so sánh các phương pháp cũng được thực hiện với các loại ảnh truy vấn khác nhau. Bảng 2.5 là thống kê giá trị precision với các 10 loại ảnh truy vấn có trong cơ sở dữ liệu, việc tính precision được thực hiện khi lấy ra 50 ảnh.
Hình 2.27 biểu diễn precision dưới dạng biểu đồ. Có thể đưa ra một số
nhận xét:
• Hai phương pháp Entropy-Mean và Hybrid100 cho kết quả đặc biệt tốt (precision gần bằng 100%) với ảnh “khủng long”. Có thể giải thích là do các ảnh đó chụp khủng long trên nền trắng do vậy màu trắng sẽ là màu chủđạo của ảnh nên giá trị trung bình và Entropy của các ảnh đó rất giống nhau, các ảnh khác rất ít ảnh có được điều đó nên trong hai phương pháp này rất ít ảnh bị nhận sai.
• Tất cả các phương pháp đều làm việc không tốt với ảnh “bãi biển” và “phong cảnh”. Do các ảnh thuộc hai loại này có màu sắc rất khác
nhau và nhiều ảnh có màu giống với các ảnh thuộc loại khác. Do đó, có rất nhiều trường hợp nhận dạng sai.
Bảng 2.5 Giá trị precisionđối với các loại ảnh khác nhau khi lấy ra 50
ảnh
Loại ảnh Entropy-Mean HistogramRGB HistogramCIELAB Hybrid100
Châu Phi 0.347 0.670 0.566 0.494 Bãi biển 0.279 0.220 0.269 0.323 Phong cảnh 0.224 0.259 0.244 0.228 Ô tô buýt 0.298 0.400 0.614 0.357 Khủng long 0.991 0.845 0.760 0.977 Voi 0.382 0.428 0.275 0.442 Hoa hồng 0.551 0.491 0.515 0.568 Ngựa 0.610 0.524 0.611 0.637 Núi 0.283 0.189 0.251 0.280 Món ăn 0.311 0.368 0.455 0.315 Trung bình 0.428 0.439 0.456 0.462 0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
Ch©u Phi B·i biÔn Phong c¶nh
Xe buýt Khñng long
Voi Hoa
hång
Ngùa Nói non Mãn ¨n
Lo¹i ¶nh
Entropy-Mean HistogramCIELAB HistogramRGB Hybrid100
Hình 2.27 Giá trịprecisionđối với các loại ảnh khác nhau khi lấy ra 50