Trong đánh giá các h th ng tìm ki m thông tin theo ki u c a TREC, có hai gi đ nh quan tr ng, mà không có trong các thi t l p th gi i th c :
• S liên quan hoàn toàn theo khái ni m: m t tài li u ch có th là liên quan ho c không liên quan.
• S liên quan c a m t tài li u hoàn toàn đ c l p v i các tài li u khác. Các gi đnh này làm đ n gi n vi c đo các h th ng tìm ki m. Nhi u nhà nghiên c u đã th nghi m v i nhi u t l khác nhau c a s liên quan. Các t l này
đ c trình bày rõ h n trong m c 2.2.3.4.
Gi đnh v s liên quan c a m t tài li u hoàn toàn đ c l p v i các tài li u khác không th c t trong h u h t các tr ng h p. Trong h u h t các tr ng h p tìm ki m thông tin c b n, ch ng h n tìm ki m thông tin trên web, nh ng ng i tìm ki m mu n tìm m t câu tr l i cho m t câu h i xác đnh hay m t vài tham kh o. Gi s r ng ng i s d ng s b t đ u duy t qua các tài li u đ c tìm th y b t đ u t nh ng tài li u liên quan nh t, các tài li u ít liên quan h n thì ph thu c vào tài li u liên quan đã đ c. Xác su t có tài li u m i gi m d n theo danh sách tài li u. S ph thu c này th ng b b qua b i các nhà nghiên c u tìm ki m thông tin.
Có nhi u m i quan tâm v tính ch quan c a th t c đánh giá. Con ng i th ng có nh ng ý ki n khác nhau v s liên quan. i u này có nh h ng x u
đ n s phát tri n c a các đánh giá c a TREC. Tuy nhiên, đã có nhi u nghiên c u
đ gi i quy t v n đ này và th y r ng nh h ng trên t p các h th ng có k t qu s p th t liên quan thì có th b qua. M t nghiên c u g n đây liên quan đ n b ng li u đ đánh giá c a TREC ki m th nhi u v n đ khác nhau:
Lu n v n : ánh giá các h th ng tìm ki m thông tin
• ánh giá m t b ng khác v i đánh giá nhóm b ng đánh giá
• ánh giá trong cùng m t môi tr ng khác v i đánh giá nhi u môi tr ng Nh ng y u t này nh h ng đ n giá tr tuy t đ i c a các đ đo kh n ng th c hi n, nh ng th t liên quan c a các h th ng v n n đnh.