Theo nhận định thơng thường, một crawler (đặc biệt là một topic crawler) cĩ thể được đánh giá dựa trên khả năng lấy được các trang web “tốt”. Tuy nhiên, vấn đề mấu chốt ở đây chính là làm thế nào để nhận ra một trang web “tốt”. Trong mơi trường tương tác, một người dùng thực cĩ thể xác định được tính hợp lệ của các trang được tải về và cho phép chúng ta xác định liệu quá trình crawl cĩ thành cơng hay khơng. Nhưng khơng may là việc thực hiện các thí nghiệm hiệu quả cĩ sự tham gia của những người dùng thực để đánh giá chất lượng của một crawler là cực kỳ khĩ khăn. Do kích thước khổng lồ của Web cho thấy, để cĩ thể đạt được những đánh giá hợp lý về mức độ hiệu quả của quá trình crawl chúng ta cần phải xem xét một số lượng lớn các cách thức crawl, do đĩ cần liên quan tới một số lượng lớn người dùng.
Thứ hai, quá trình crawl phải thỏa mãn các ràng buộc nghiêm ngặt về thời gian. Do đĩ quá trình crawl, nếu khơng được thực hiện trong một thời gian ngắn sẽ trở nên rất phiền tối cho người dùng. Nếu chúng ta cĩ giảm thời gian tải thì lại sẽ hạn chế qui mơ của quá trình crawl, và việc đánh giá lại khơng chuẩn xác.
Trong một tương lai khơng xa, những người thu thập thơng tin trực tiếp sẽ là các Web agent đại diện cho người dùng hoặc các Web agent khác hơn là bản thân người dùng. Do đĩ, việc khảo sát các crawler là khá hợp lý trong một ngữ cảnh khi mà các tham số về thời gian crawl và khoảng cách crawl cĩ thể vượt xa khỏi các hạn chế bị áp đặt trong các thử nghiệm với người dùng thực.
Thơng thường, việc so sánh các topic crawler theo một lượng lớn các chủ đề và nhiệm vụ là rất quan trọng. Điều này cho phép chúng ta biết được một cách chắc chắn ý nghĩa thống kê của mỗi một cải tiến được đề xuất cho crawler. Các nghiên cứu về đánh giá các crawler địi hỏi một tập các độ đo thích hợp. Đầu tiên chúng ta sẽ xem xét hai khía cạnh cơ bản trong quá trình đánh giá. Chúng ta cần một độđo vềđộ quan trọng của các trang web và sau đĩ là một phương pháp để tổng hợp các hiệu năng
thơng qua một tập các trang web được crawl.