Trang web cho phép tìm kiếm các trang web khác có chứa từ hay cụm từ mà NSD yêu cầu
Thường có 3 phần chính
• Spider, crawler, hay bot – tìm trang web
• Index – danh sách kết quả ở dạng chỉ mục
Công cụ Máy tìm kiếm
Search Engines thường sử dụng các robots hay còn gọi là “Spiders” để phân loại trang web.
Khi 1 website mới đăng ký hay một trang bất kỳ vào một Search Engine, hệ thống “spider” ngay lập tức sẽ tiến hành xếp loại những yêu cầu cụ thể mà website đưa ra.
Công cụ Máy tìm kiếm
Phương thức hoạt động cụ thể như sau:
• Spider, đôi lúc còn được gọi là Crawler hay Web Crawler sẽ truy cập vào trang web để đọc và tiếp nhận thông tin nội dung của các trang web khác qua các đường link liên kết trong trang web.
• Hệ thống này sẽ thường xuyên truy cập lại trang web theo một chu kỳ thời gian nhất định để cập nhật những thông tin mới.
Công cụ Máy tìm kiếm
• Ngay sau khi có được tất cả các thông tin của trang web, Spider sẽ quay trở lại các Search Engine và bắt đầu phân loại những gì mà nó tìm kiếm thấy.
• Không cần phải đăng ký trang web lên các Search Engine bởi vì xét về mặt lý thuyết, hệ thống Spider thường xuyên truy cập vào các trang web mới và chắc chắn nó sẽ tìm thấy trang web của ta và xếp loại vào trong các danh sách tìm kiếm trên Search Engines.?
Công cụ Máy tìm kiếm
• Trên thực tế, thì trang web này sẽ không được đưa vào danh sách tìm kiếm, và sẽ không bao giờ tồn tại trong danh sách đó.
• Trừ khi trang web này có đường link kết nối từ những trang web lớn, chủ đạo khác, hay đã đăng ký trang web lên một Search Engine khác
• Một số Search Engine phổ biến sử dụng Spider là: (Alta Vista, Excite, HotBot, Infoseek, Lycos, WebCrawler , Yahoo, google ….)