File robots.txt dùng để hướng dẫn cho các con robot của các bộ máy tìm kiếm biết trang hoặc phần nào trên website hay blog của bạn nên đọc và thường xuyên đến để đánh chỉ mục, trang hoặc phần
nào không nên đọc. Hầu hết các website và các blog đều có các thư mục chẳng liên quan gì hoặc chẳng có tác dụng gì cho các bộ máy tìm kiếm như là các file ảnh và các file admin. Vì thế việc tạo một file robots.txt hoàn toàn có thể cải thiện được việc đánh chỉ mục cho website hay blog của bạn. File robots.txt là một file văn bản đơn giản, bạn có thể tạo nó bằng Notepad. Nếu như bạn sử dụng Wordpress thì file robots.txt mẫu có thể tạo như sau: User-agent: * Disallow: /wp- Disallow: /feed/ Disallow: /trackback/ "User-agent: *": câu lệnh này có nghĩa là cho phép tất cả các con bot tìm kiếm (từ Google, Yahoo, MSN và các bộ máy tìm kiếm khác) sẽ dùng lệnh hướng dẫn này để đọc website hay blog của bạn. Trừ khi website hay blog của bạn quá phức tap, nếu không bạn không cần đặt các chỉ dẫn khác nhau cho các spider khác nhau. Bạn chỉ cần đặt y như trên là đủ. "Disallow: /wp-": câu lệnh này giúp các con bot của các bộ máy tìm kiếm bỏ qua tất cả các file của Wordpress (các file trong các folder như: wp-admin, wp-content, wp-includes) khi đánh chỉ mục cho blog của bạn. Nó giúp bạn tránh bị trùng lặp nội dung và đọc các file admin nhạy cảm. Còn nếu các bạn không dùng Wordpress, hãy thay thế những dòng Disallow bằng các file hay các folder trên website mà bạn không
muốn các con bot này nhòm ngó đến. Ví dụ: User-agent: * Disallow: /images/ Disallow: /cgi-bin/ Disallow: /bất cứ file hay folder nào mà bạn không muốn crawler đọc/ Sau khi bạn đã tạo xong file robots.txt, hãy upload nó lên thư mục gốc trên web host của bạn. Thế là xong thôi. Bây giờ thì bạn có
thể an tâm là các con robot của các bộ máy tìm kiếm chỉ đọc nội dung trên blog của bạn chứ không đọc nội dung của các file Wordpress. Điều này là thực sự quan trọng vì nó giúp nội dung trên blog của
bạn sẽ không bị trùng lặp, và các thông tin của các file nhạy cảm cần bảo mật trên web host sẽ không bị chúng nhòm ngó. Một trong những điều quan trọng để web site của bạn có thể đạt High ranking (thứ hạng cao) trong các cỗ máy tìm kiếm là bạn phải xây dựng cho mình một file Robots.txt Vậy file
Robots.txt là gì? khi một search engine tìm đến (nguyên văn Crawler) web site nào đó, nó sẽ tìm một file đặc biệt trước tiên, đó là file robots.txt. File robot.txt cho search engine đó biết rằng, web site này có thể index hoặc không (tùy theo lệnh được viết trong file robots.txt). Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site, ví dụ link. Vậy, làm thế nào để tạo ra một file robots.txt? Rất đơn giản, bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file với tên robots.txt là xong. Các dòng lệnh trong
file này có cấu trúc như sau: User-agent: googlebot Disallow: /cgi-bin/ Trong đó User-agent: là đại diện của một search engine, Googlebot là spider của Google. Trong ví dụ này, chỉ các spider của
Google là được phép index web site. Disallow: là không cho phép thực hiện điều gì đó. ở ví dụ trên là không cho phép các spider index thư mục "cgi-bin" trong web site. Ví dụ thứ hai: User-agent: googlebot Disallow: /support Tất cả các trang nằm trong thư mục support, hay support-desk sẽ không được index. Nếu bạn muốn tất cả các search engine có thể index web site của bạn, nhưng không được index các trang trong thư mục "cgi-bin" thì sử dụng lệnh sau: User-agent: * Disallow: /cgi-bin/ Những điều nên tránh: + Không sử dụng các chú thích trong file robots.txt, nó có thể làm cho các spider của
search engine bị lầm lẫn. Ví dụ: "Disallow: support # Don't index the support directory" might be misinterepreted as "Disallow: support#Don't index the support directory". + Không được để khoảng trắng ở đầu dòng lệnh, ví dụ: User-agent: * Disallow: /cgi-bin/ +Không thay đổi trật tự của các dòng lệnh. Ví dụ: Disallow: /support User-agent: * + Không sử dụng quá một thư mục trong dòng lệnh Disallow. Ví dụ: User-agent: * Disallow: /support /cgi-bin/ /images/ các search engine không hiểu định dạng trên. bạn nên viết thế này: User-agent: * Disallow: /support Disallow: /cgi-bin/ Disallow: /images/ +Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ, thư mục của bạn là "cgi-
bin" (viết thường, không viết hoa), nhưng khí vào lệnh, bạn lại viết là "Cgi-Bin" thì các spider sẽ "bó tay". + Không nên dùng lệnh Allow trong file robots.txt, bởi vì trong web site của bạn chắc chắn sẽ có
một số trang hoặc một số thành phần bạn không muốn bị người khác "nhòm ngó". nếu bạn sử dụng lệnh Allow, tất cả mọi ngóc ngách trong web site của bạn sẽ bị index! Bạn có thể tham khảo tập tin
robots.txt tại các web site nổi tiếng trên thế giới là Ebay và Nytimes: link link.
