Cách tạo và sử dụng file robots

ONNET.EDU.VN Cách tạo sử dụng file robots.txt File Robots.txt gì? File robots.txt dạng file đơn giản tảo công cụ Notepad Bạn tạo file robots.txt vào đặt vào thư mục root trang web File Robots.txt sử dụng để hướng dẫn công cụ tìm kiếm tự động đến trang mà bạn muốn tìm kiếm sau index trang Hầu hết trang web có thư mục files không cần đến robot công cụ tìm kiếm ghé thăm Do tạo file robots.txt giúp bạn SEO Các User Agent Google Google có vài user-agent Bạn ngăn chúng cách thêm tên bọ tìm kiếm tương ứng dòng User-agent tương ứng bảng ghi robots.txt Nếu bạn chặn Googlebot có nghĩa bạn chặn tất bọ tìm kiếm với từ khóa “Googlebot” - Googlebot: Đánh số từ mục cũ Google Googlebot-Mobile: Đánh số cho thiết bị cầm tay di động Googlebot-Image: Đánh số tệp tin ảnh Mediapartners-Google: Xuất trang dăng quảng cáo Google Adsense Adsbot-Google: Đánh số trang nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords Nó cho phép đánh giá chất lượng trang dùng dịch vụ Adwords Cách sử dụng Google boot Tác giả: Adam Thiên - Cố vấn: RichdadLoc – Bản quyền ©2013 ONNET ONNET.EDU.VN Nếu bạn sử dụng WordPress file robots.txt có dạng sau: User-agent: * Disallow: /wpDisallow: /feed/ Disallow: /trackback/ Trong đó: “User-agent”:* có nghĩa tất robot tìm kiếm từ Google, Yahoo MSN nên sử dụng hướng dẫn bạn để tìm kiếm trang web “Disallow: /wp-“: dòng code báo cho công cụ tìm kiếm biết không nên “lục lọi” file WordPress bắt đầu wp- Nếu bạn không sử dụng WordPress, bạn việc thay dòng Disallow với files folders mà bạn không muốn “dòm ngó”, ví dụ: User-agent: * Disallow: /images/ Disallow: /cgi-bin/ Tự động tạo robots.txt Nếu bạn có sử dụng Google Webmaster họ cho phép bạn tạo robots.txt bạn sử dụng Robots.txt Generator để tự động tạo file robots.txt cho Sau bạn tạo xong file robots.txt đừng quên save, bạn việc upload lên thư mục gốc hoàn thành Rồi bạn hiểu thêm file robot.txt phải không nào, không khó khăn không phức tạp Chúc bạn thành công thực hành phần Tác giả: Adam Thiên - Cố vấn: RichdadLoc – Bản quyền ©2013 ONNET ... Tự động tạo robots. txt Nếu bạn có sử dụng Google Webmaster họ cho phép bạn tạo robots. txt bạn sử dụng Robots. txt Generator để tự động tạo file robots. txt cho Sau bạn tạo xong file robots. txt đừng... báo cho công cụ tìm kiếm biết không nên “lục lọi” file WordPress bắt đầu wp- Nếu bạn không sử dụng WordPress, bạn việc thay dòng Disallow với files folders mà bạn không muốn “dòm ngó”, ví dụ:...ONNET.EDU.VN Nếu bạn sử dụng WordPress file robots. txt có dạng sau: User-agent: * Disallow: /wpDisallow: /feed/ Disallow: /trackback/ Trong