Bảng so sánh các công cụ tìm kiếm
4.3 Thách thức của công cụ tìm kiếm
Công cụ tìm kiếm rất là hữu ích đối với người sử dụng Internet và nó luôn luôn cố gắng để cung cấp cho người sử dụng những gì họ cần. Tuy nhiên, có những thách thức hoặc các vấn đề mà công cụ tìm kiếm cần được nghiên cứu cải tiến.
Thách thức đâu tiền là hệ thống phải thường xuyên cập nhật dữ liệu và thu thập nhiều dữ liệu có giá trí nhất có thể, bao gồm cả dữ liệu của các Invisible web. Sau đó các spider phải thường xuyên cập nhật các dữ liệu thay đổi để đánh chỉ mục. Với hàng tỷ website cần phải thu thập thông tin và đánh chỉ mục lại một cách thường xuyên dẫn đến thách thức về việc giảm khoảng thời gian cập nhật thông tin tìm kiếm đối với các web mới được tạo ra.
Mặt khác, thu thập dữ liệu nói chung tiêu tốn rất nhiều chi phí.Việc thu thập dữ liệu là phần tốn chi phí nhất của việc duy trì các công cụ tìm kiếm, vì lý do này, buộc phải thiết lập một giới hạn kích thước cơ sở dữ liệu cũng như tần suất thu thập lại dữ liệu. Các công cụ tìm kiếm cho thấy các trang tiềm năng đã không được lập chỉ mục là do các giới hạn của công cụ tìm kiếm chứ không phải là vì Deep Web, bởi vì các trang này có thể thu thập được, nhưng không được chọn để lập chỉ mục. Công cụ tìm kiếm cần phải lọc ra các dữ liệu trùng lặp và thông tin rác và không cung cấp thông tin không liên quan đến người sử dụng cuối cùng.
Những thách thức trong khả năng của công cụ tìm kiếm cũng là một vấn đề lớn.Với các tùy chọn, tính năng mạnh mẽ và chức năng tìm kiếm nâng cao, các công cụ tìm kiếm đang cố gắng để giúp người dùng tìm kiếm chính xác hơn, dễ dàng hơn để có được những thông tin mong muốn.Vấn đề là, hầu hết mọi người không tận dụng lợi thế này của các công cụ tìm kiếm, họ thường chỉ gõ một vài từ khóa đơn giản cho một truy vấn.Vì vậy, công cụ tìm kiếm cần cải thiện các truy vấn cơ bản để họ có thể cung cấp cho người sử dụng kết quả mong muốn tương tự như khi người dùng sử dụng các chức năng nâng cao của công cụ tìm kiếm.
Chất lượng và tốc độ đưa ra kết quả tìm kiếm có thể loại trừ nhau: Tốc độ có thể hạn chế tìm kiếm kỹ lưỡng các trang web và ngược lại. Vì vậy cần cải tiến công nghệ của công cụ tìm kiếm, cũng như chất lượng trong việc xếp hạng cho tốt hơn là một thách thức của các công cụ tìm kiếm.
Một vấn đề thách thức nữa là định nghĩa và đo lường của sự liên quan của một tài liệu với nội dung mà người dùng mong muốn tìm kiếm. Một tài liệu được coi là liên quan đôi khi là phù hợp đối với người này nhưng lại không phải là phù hợp đối với người khác. Vì vậy, cần phân biệt giữa sự liên quan và sự phù hợp của một tài liệu. Trong khi sự liên quan cho phép các truy vấn và công cụ tìm kiếm đo lương được, thì sự phù hợp lại phụ thuộc vào khả năng sử dụng các kết quả của người dùng cuối. Nói cách khác, chỉ có người sử dụng có thể để xác định giá trị của sự phù hợp.
Cuối cùng nhưng không kém phần quan trọng đó là các Invisble web thì rất khó khăn cho công cụ tìm kiếm, bởi vì kích thước của nó so với visible web thì lớn hơn từ 20 đến 50 lần, và thường chứa các dữ liệu chất lượng cao. Tuy nhiên, rào cản kỹ thuật làm cho cho công cụ tìm kiếm gặp khó khẳn để tìm thấy chúng.