Có tất cả bốn mô hình đánh giá các hệ thống truy xuất thông tin. Chúng bao gồm: đánh giá hộp kính, đánh giá hộp đen, đánh giá hướng hệ thống,
đánh giá hướng người dùng hay còn gọi là đánh giá nghiên cứu người dùng.
• Đánh giá hộp trắng (Glass Box Evaluation) : đánh giá hệ thống dựa trên việc đánh giá tất cả mọi thành phần của hệ thống. Có nghĩa là khi biết rõ các thành phần của hệ thống, chúng ta tiến hành đánh giá các thành phần đó.
• Đánh giá hộp đen (Black Box Evaluation) : đánh giá hệ thống bằng cách xem hệ thống như là một thực thể hợp nhất, không đánh giá chính xác các thành phần bên trong hệ thống.
• Đánh giá hướng hệ thống (System-Oriented Evaluation) là xu hướng
đánh giá chính từ khi các hệ thống tìm kiếm và lập chỉ mục tự động
được phát triển vào những năm 1960. Một trong những mục đích chính của hướng đánh giá này là kiểm tra các hệ thống tựđộng cũng như các thủ tục thủ công thực thi như thế nào. Ngoài ra, mô hình này còn đánh giá so sánh các cách thực hiện liên quan đến các ngôn ngữ chỉ mục, xử
lý tìm kiếm của hệ thống của các hệ thống khác nhau hay đánh giá so sánh các lược đồ chỉ mục tựđộng khác nhau. Đánh giá hướng hệ thống có một điểm lợi là điều kiện môi trường kiểm tra được quản lý chặt chẽ, sử dụng phương pháp đánh giá theo lô hay còn gọi là đánh giá dựa trên tập câu truy vấn; có nghĩa là hệ thống truy xuất thông tin lần lượt thực hiện các câu truy vấn, tìm kiếm trên tập dữ liệu đã được xây dựng và ghi lại kết quả những tài liệu nào liên quan đến câu truy vấn nào rồi
đem so sánh với Bảng đánh giá liên quan chuẩn (Relevance judgment)
đã được xây dựng. Với mỗi câu truy vấn tính toán độ chính xác và độ
bao phủ dựa trên kết quả trả về và bảng đánh giá liên quan chuẩn để
nhận xét hiệu quả tìm kiếm của hệ thống truy xuất thông tin. Hướng
đánh giá này được thực hiện rất phổ biến ở các dự án, hội nghị về
nghiên cứu hệ thống truy xuất thông tin như: Cranfield, MEDLARS,
SMART, STAIRS và TREC.
• Đánh giá hướng người dùng (User Studies Evaluation): Hướng
nghiên cứu người dùng ra đời vào những năm 1970 khi mà nhiều hệ
thống truy xuất thông tin thương mại ra đời. Mục đích chính của hướng
dụng. Hướng đánh giá này còn cho phép xem xét hệ thống ở khía cạnh người dùng; tức là đánh giá về mặt tương tác với người sử dụng như
giao diện của hệ thống truy xuất thông tin, thời gian hệ thống tìm kiếm
đối với một câu truy vấn, mức độ hài lòng của người sử dụng… Hướng nghiên cứu này cho rằng nhu cầu của người dùng được thoả mãn tương
đương với hiệu quả của hệ thống. Chỉ khi nhu cầu thông tin người dùng
được thỏa mãn, khi ấy truy xuất thông tin mới được gọi là có ích. Hội
nghị quốc tế về truy xuất thông tin trong Ngữ cảnh (Information
Seeking in Context) được tổ chức như là một diễn đàn cho các nhà
nghiên cứu lĩnh vực này khám phá các phương pháp và các kết quả
nghiên cứu. Một hội nghị khác mới được thành lập tên là Nhóm Quan
tâm Đặc biệt (Special Interest Group - SIG) đến tìm kiếm, nhu cầu và
sử dụng thông tin của Xã hội Hoa Kỳ về Khoa học Thông tin
(American Society of Information Science). Những hội nghị này cũng
tương tự như TREC trong việc cố gắng khuyến khích nghiên cứu
hướng người dùng, để phát triển mối liên hệ giữa các nhà nghiên cứu trong kỹ thuật, giáo dục và chính phủ, và để xác định, cải tiến các kỹ
thuật tìm kiếm thích hợp. Nhưng các hội nghị này khác nhau ở chỗ các hội nghị mới chưa có phương pháp luận đánh giá chuẩn nào được xúc tiến. Đánh giá hướng người dùng có đóng góp rất lớn đến lĩnh vực truy xuất thông tin. Đóng góp này gồm có việc xác định cách thức truy xuất thông tin của con người, nối liền khoảng cách giữa nhu cầu thông tin giữa các cá nhân và các hệ thống truy xuất thông tin, dẫn đến một thế
hệ mới của các hệ thống truy xuất thông tin bao gồm các giao diện đồ
hoạ máy tính-người sử dụng.
Hiện nay, trong số bốn mô hình trên thì hai mô hình đánh giá hướng hệ
hình đánh giá hướng người dùng cần có sự hợp tác của rất nhiều người dùng
để lấy thông tin phản hồi sau khi sử dụng hệ thống truy xuất thông tin đó hoặc cần phải tham gia trao đổi về hiệu năng tìm kiếm tại các hội nghị. Nhưng các hội nghị dành cho mô hình đánh giá hướng người dùng đa số chưa có một phương pháp luận cụ thể nào dùng đểđánh giá.