B ng đánh giá liên quan chu n là b ng ch a các ch đ và các tài li u liên quan th t s c a các ch đ đó. D a trên b ng đánh giá liên quan chu n này, ng i đánh giá xác đnh các tài li u nào là th t s liên quan đ n ch đ nào sau khi ch y các h th ng tìm ki m. TREC h u nh s d ng b ng đánh giá liên quan theo đ liên quan nh phân (ho c tài li u liên quan đ n ch đ ho c không). bi t là tài li u đó có liên quan th t s hay không thì ng i đánh giá s xem trong ph n t ng thu t c a ch đ . Ph n này ghi r t chi ti t v nh ng tài li u nh th nào là liên quan. Sau đó, ng i đánh giá s đánh d u tài li u nào là liên quan và tài li u nào không liên quan.
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Ví d : Ch đ v “kinh t tri th c”, nó có t ng thu t là : “Các tài li u
đ c g i là liên quan là nh ng tài li u nói v n n kinh t tri th c, th nào là n n kinh t tri th c, nh h ng c a n n kinh t tri th c c a các n c trên th gi i”.
Nh ng cách đánh giá b ng th công c a ng i không th th c hi n đ c v i s l ng tài li u quá l n, đ c bi t là tài li u c a TREC. Vì v y, TREC áp d ng ph ng pháp Pooling đ làm b ng đánh giá liên quan chu n. Ph ng pháp này chúng tôi đã trình bày trên. T i NIST, khi nh ng ng i tham gia
đ ng ký h th ng tìm ki m c a h t i NIST, h ph i th c hi n tìm ki m v i các ch đ c a NIST b ng h th ng tìm ki m c a h . Sau đó, k t qu đ c s p x p theo th t các tài li u trong b ng li u ki m tra đ i v i t ng ch đ . NIST s ch n m t s các k t qu và tr n l i v i nhau, n u ch n càng nhi u h th ng thì b ng đánh giá liên quan chu n càng chính xác. Sau m i l n ch y, X tài li u
đúng nh t (th ng X =100) đ c thêm vào trong Pool hay còn g i là danh sách các tài li u chính xác c a t ng ch đ . Nhi u tài l êu đ c tìm th y trong trong X có trong nhi u h n m t l n ch y đ tìm ki m, vì v y Pool th ng nh h n con s lý thuy t X*s _l ng _các_b ng_k t_qu _đ c_ch n.
B ng li u dùng đ đánh giá theo ph ng pháp Pooling m c dù không công b ng l m trong tr ng h p đánh giá các h th ng ch a tham gia vào tìm ki m
đ l y b ng đánh giá liên quan chu n nh ng ph ng pháp này cho ra k t qu có th tin c y đ c. Và s khác bi t khi tính đ bao ph , đ chính xác không chênh l ch nhi u so v i đánh giá b ng th công.