Qui trình thực hiện::
Các hệ thống IR đã được thực thi và đánh giá sẽ được ghi nhận lại, chương trình cho phép người dùng chọn các hệ thống trong số hệ thống trên để thực hiện so sánh. - Chọn các hệ thống cần so sánh - Thực hiện so sánh Sơ đồ: TH_KqDanhGia XL_KetQua LT_XML XL_XML XL_Topic TH_ChiTietCauHoi TH_ChiTietTaiLieu XL_Topic XL_HeThongIR TH_KqDanhGia XL_KetQua LT_XML XL_XML XL_HeThongIR
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
Qui trình tổng quát đểđánh giá một hệ thống IR:
- Định dạng tập dữ liệu kiểm tra bao gồm tập tài liệu và tập câu hỏi
- Thực thi hệ thống IR trên tập dữ liệu đã định dạng: hệ thống IR sẽ chạy các câu hỉ trong tập câu hỏi , tìm kiếm trên tập tài liệu đó , sau đó sẽ phải trả
về cho chương trình file kết quả mô tả sự liên quan của các câu hỏi với các tài liệu và độ tương quan của chúng
- Định dạng file kết quả trả về của hệ thống IR để chương trình có thể hiểu
được các thông tin kết quả. Thông tin kết quả bao gồm: chỉ số của các câu hỏi, chỉ số của các tài liệu liên quan đến mỗi câu hỏi đó, và độ tương quan của chúng .
- Định dạng tập tin chỉ mục nếu thông tin về chỉ mục của tập tài liệu và câu hỏi được ghi nhận dưới file xml.
- Xem thông tin đánh giá về hệ thống IR trên. Thông tin đánh giá gồm: câu hỏi được thực thi, tập tài liên được hệ thống IR trả về, tập tài liệu có liên quan theo lý thuyết (dựa vào bảng liên quan của chương trình đã xây dựng sẵn trước), độ chính xác , độ bao phủ của hệ thống khi thực thi tìm kiếm câu hỏi đó, và thông tin vềđộ chính xác tính trên 11 điểm chuẩn của độ bao phủ, thông tin vềđường cong RP
Sau khi đánh giá được nhiều hệ thống, chương trình còn cho phép người dùng so sánh dựa các hệ thống dựa trên đường cong chuẩn RP