Khi xây dựng tường lửa cho website ta cũng phải chú ý đến việc xác thực được bot đến từ các trang tìm kiếm. Các công cụ chống tấn công từ chối dịch vụ được phổ biến rộng rãi trên mạng làm việc này bằng cách là kiểm tra xem useragent trong phần request có phải là useragent của các bot này không nếu đúng thì sẽ cho qua luôn không cần xác thực gì. Tuy vậy việc này dẫn đến người tấn công có thể dễ dàng qua mặt được hệ thống bảo vệ này khi đặt useragent của request là useragent của các bot tìm kiếm này. Cách làm này được phổ biến rất rộng rãi trên các diễn đàn của Việt Nam từ những năm 2009 đến nay. Thêm vào đó các bot của các công cụ tìm kiếm này đều không hỗ trợ javascript hay bất cứ cách nào để giải mã được captcha do đó phương thức xác thực người dùng như ở phần 1.2.2.1 là không thể dùng được trong trường hợp này.
Quá trình nghiên cứu đặc điểm của các bot của các công cụ tìm kiếm lớn tác giả thấy rằng việc kiểm tra xem bot có phải của các công cụ tìm kiếm có 2 cách đơn giản sau đây: kiểm tra dựa vào dns, kiểm tra dựa vào địa chỉ ip.
Kiểm tra dựa vào dns được dùng với 2 công cụ tìm kiếm phổ biến trên internet là google và bing. Các bot tìm kiếm của 2 công cụ này khi truy vấn đến các website sẽ đến từ các ip có hostname là id của bot đó và một domain được quy định chung nhất. Do đó các bot này rất dễ để xác thực bằng cách kiểm tra địa chỉ ip của bot có phải có hostname theo tiêu chuẩn nêu trên không. Việc kiểm tra này thông qua dns là một giao thức rất nhanh nên không tiêu tốn quá nhiều tài nguyên của server.
Kiểm tra dựa vào địa chỉ ip thông thường các hãng công nghệ lớn trên thế giới để đăng ký cho mình các dải ip cụ thể. Một số bot của một số hãng công nghệ như facebook không dùng tiêu chuẩn như google hay bing là các địa chỉ ip nó dùng được gắn với hostname theo định dạng cụ thể do đó việc kiểm tra tính xác thực của bot này phải thông qua việc kiểm tra ip của bot có thuộc sở hữu của các hãng công nghệ cụ thể của bot không. Quá trình kiểm tra này cũng đúng với cả các bot tìm kiếm của google và bing.
CHƯƠNG 2: XÂY DỰNG HỆ THỐNG NGĂN CHẶN TẤN CÔNG TỪ CHỐI DICH VỤ CHO WEBSITES.
2.1. Thiết kế tổng quan mô hình và chức năng của hệ thống.2.1.1. Kiến trúc tổng quan và các thành phần của hệ thống.