(Multiple degree relevance or non-binary relevance)
Trong một vài thử nghiệm vềđánh giá độ liên quan nhiều cấp độ chỉ có một vài thí nghiệm thực sự cho thấy lợi ích của việc đánh giá độ liên quan ở
nhiều cấp độ khác nhau.
Độ bao phủ (R), độ chính xác (P) là phương pháp cổ điển để đánh giá khả năng thực thi của IR và thường được tính dựa trên việc đánh giá độ liên quan nhị phân. Do đó việc đánh giá độ liên quan nhiều cấp độ chỉ được tiến hành ở bước đầu, sau đó những giá trị mức độ sẽđược qui về 2 giá trị 0, 1 để đánh giá.
Ví dụ : đánh giá độ liên quan được tiến hành 3 mức độ:
- có liên quan (relevant) => ký hiệu A
- liên quan một phần (partically relevant ) => ký hiệu B
- không liên quan (not relevant) => ký hiệu C
Mức độ liên quan sẽđược qui về 2 giá trị để tính R, P. Có 2 cách tính:
• A, B mang giá trị 1 (có liên quan) C mang giá trị 0 (không liên
quan) hoặc
• A mang giá giá trị 1 (có liên quan) B, C mang giá trị 0 (không
liên quan)
Với cách tiến hành như vậy để duy trì mức độ liên quan của tài liệu,
topic-ID dumy doc-ID relevant assessment
Trong đó:
topic-ID : chỉ số của chủđề (topic)
dumy : là trường cho biết tài liệu đó có mức độ liên quan là bao nhiêu (A, hoặc B, hoặc C)
doc-ID : chỉ số tài liệu
relevant assessment: mang giá trị 0 hoặc 1, giá trị đánh giá độ liên quan sau khi được qui vềđộ liên quan nhị phân.
Một ví dụ khác vềđo độ liên quan của tài liệu ở 4 mức độ:
- độ liên quan cao (highly relevant)
- độ liên quan vừa (fairly relevant)
- độ liên quan trung bình (marginally relevant)
- không liên quan (irrelevant)
Tuy nhiên trong các Hội nghị về Đánh giá các hệ thống thông tin gần
đây, độ liên quan nhị phân vẫn còn được xem là một cách đánh giá chuẩn,
thậm chí nhiều trường hợp đánh giá độ liên quan ở nhiều cấp độ nhưng cũng
được qui vềđánh giá nhị phân để tính độ bao phủ và độ chính xác. Cách tiến hành này có khuyết điểm là nó không kiểm tra được từng mức độ cụ thể của
độ liên quan. Một số người có quan điểm là cách đo độ R và P dựa vào việc
đánh giá nhị phân là nên tránh vì cách tính như vậy không quan tâm đến sự
thay đổi và độ phức tạp của mức độ liên quan, làm sai lệch tính tự nhiên và thực tế của độ liên quan. Một giải pháp để giải quyết vấn đề này là tổng quát hoá độ R và P.
Dựa vào lý thuyết, thực nghiệm, nghiên cứu, mức độ liên quan của tài liệu thay đổi một cách rõ ràng, một vài tài liệu thì liên quan nhiều hơn, một số
khác thì ít hơn. Thật là khó để xác định mức độ liên quan khi tiến hành đánh giá. Điều này còn tuỳ thuộc vào tình huống đánh giá hệ thống của chúng ta.