Trong đánh giá các hệ thống tìm kiếm thông tin theo kiểu của TREC, có hai giảđịnh quan trọng, mà không có trong các thiết lập ở thế giới thực :
• Sự liên quan hoàn toàn theo khái niệm: một tài liệu chỉ có thể là liên quan hoặc không liên quan.
• Sự liên quan của một tài liệu hoàn toàn độc lập với các tài liệu khác. Các giả định này làm đơn giản việc đo các hệ thống tìm kiếm. Nhiều nhà nghiên cứu đã thử nghiệm với nhiều tỉ lệ khác nhau của sự liên quan. Các tỉ lệ này
được trình bày rõ hơn trong mục 2.2.3.4.
Giảđịnh về sự liên quan của một tài liệu hoàn toàn độc lập với các tài liệu khác không thực tế trong hầu hết các trường hợp. Trong hầu hết các trường hợp tìm kiếm thông tin cơ bản, chẳng hạn tìm kiếm thông tin trên web, những người tìm kiếm muốn tìm một câu trả lời cho một câu hỏi xác định hay một vài tham khảo. Giả sử rằng người sử dụng sẽ bắt đầu duyệt qua các tài liệu được tìm thấy bắt đầu từ những tài liệu liên quan nhất, các tài liệu ít liên quan hơn thì phụ thuộc vào tài liệu liên quan đã đọc. Xác suất có tài liệu mới giảm dần theo danh sách tài liệu. Sự
phụ thuộc này thường bị bỏ qua bởi các nhà nghiên cứu tìm kiếm thông tin.
Có nhiều mối quan tâm về tính chủ quan của thủ tục đánh giá. Con ngừơi thường có những ý kiến khác nhau về sự liên quan. Điều này có ảnh hưởng xấu
đến sự phát triển của các đánh giá của TREC. Tuy nhiên, đã có nhiều nghiên cứu
để giải quyết vấn đề này và thấy rằng ảnh hưởng trên tập các hệ thống có kết quả
sắp thứ tự liên quan thì có thể bỏ qua. Một nghiên cứu gần đây liên quan đến bộ
ngữ liệu đểđánh giá của TREC kiểm thử nhiều vấn đề khác nhau:
Luận văn : Đánh giá các hệ thống tìm kiếm thông tin
• Đánh giá một bảng khác với đánh giá nhóm bảng đánh giá
• Đánh giá trong cùng một môi trường khác với đánh giá nhiều môi trường Những yếu tố này ảnh hưởng đến giá trị tuyệt đối của các độ đo khả năng thực hiện, nhưng thứ tự liên quan của các hệ thống vẫn ổn định.