3. Cấu trúc luận văn
3.3 Phƣơng pháp đánh giá
Để đánh giá hiệu năng của hệ thống tra cứu, em sử dụng hai độ đo đó là độ thu hồi (recall) và độ chính xác (precision). Các số đo này đƣợc mƣợn từ hệ thống tra cứu thông tin truyền thông. Đối với một truy vấn q, tập hợp các ảnh trong cơ sở dữ liệu thích hợp với truy vấn q đƣợc kí hiệu là R(q) còn kết quả tra cứu của truy vấn q đƣợc kí hiệu là Q(q).
Độ chính xác (precision) của việc tra cứu đƣợc định nghĩa là tỉ lệ những kết quả thu đƣợc thực sự thích hợp với truy vấn:
( 3.1)
Độ thu hồi (Recall) là tỉ lệ những kết quả thích hợp do truy vấn trả lại:
(3.2)
Thông thƣờng phải có sự thỏa hiệp giữa hai số đo này bởi vì nếu muốn tăng cƣờng số đo này thì lại phải chịu giảm số đo kia và ngƣợc lại. Trong các hệ thống tra cứu điển hình thì độ thu hồi có xu hƣớng tăng lên khi số lƣợng
các kết quả thu đƣợc tăng lên trong khi đó thì độ chính xác dƣờng nhƣ lại bị giảm đi.
Trong ngữ cảnh ứng dụng của hệ thống mà đề tài này hƣớng tới, với mỗi truy vấn q, tập R(q) chỉ là một ảnh (mỗi mẫu là một loại) trong danh sách các mẫu lá cây. Khi đó, tập Q(p) chỉ chứa duy nhất một hình ảnh thích hợp với truy vấn q hoặc không chứa ảnh thích hợp nào. Với mỗi truy vấn, hệ thống sẽ đƣa ra tập Q(q) gồm k ảnh đƣợc xếp theo mức độ thích hợp. Sau đó, ngƣời dùng sẽ xem và lựa chọn những ảnh cùng với thông tin về loài cây thực sự liên quan đến ảnh truy vấn.
Vì đặc thù của hệ thống ứng dụng mà đề tài hƣớng tới nhƣ trên, trong luận văn này, bƣớc đầu em đánh giá với trƣờng hợp k=1. Khi đó, với mỗi truy vấn q, ta có |Q(q)| = 1, R(q) = 1. Nếu ta có n truy vấn q1,..., qn thì độ chính xác và độ thu hồi sẽ là:
(3.3)