Tệp Robot

Một phần của tài liệu nghiên cứu và ứng dụng seo cho website (Trang 66 - 85)

L IK TỜ Ế

5.12.8. Tệp Robot

Tệp "robots.txt" cho các công cụ tìm kiếm biết liệu chúng có thể truy cập và nhờ vậy, thu thập dữ liệu các phần trong trang web không. Tệp này phải được đặt tên là "robots.txt" và được đặt trong thư mục gốc của trang web. Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site

Robots hoạt động như thế nào? robots.txt hoạt động bằng cách xác định một user-agent và một command cho user-agent này.

Hình 4: Robots.txt được đặt ở root

5.12.8.1 - Các tham số có trong file robots.txt

User-agent: khai báo tên search engine mà bạn muốn thiết lập khu vực

truy cập với nó, vd: Googlebot, Yahoo! Slurp

Disallow: là khu vực mà bạn muốn khoanh vùng không cho phép search

engine truy cập.

Crawl-Delay: thông số này xác định thời gian (tính bằng giây) search

phải đợi trước khi chuyển sang site tiếp theo. Điều này sẽ có ích để ngăn chặn các search engine load server tùy tiện.

5.12.9 – Chiến dịch quảng bá website

 5.12.9.1 - Cập nhật nội dung

Bằng cách tạo chuyên mục tin tức, cập nhật nội dung thường xuyên cho trang, ta còn phải tận dụng ưu thế vượt trội của các mạng xã hội phổi biến hiện nay như Facebook, Zing…

Tự viết bài với nội dung mới lạ, thường xuyên cập nhật nội dung. Thêm vào đó là những đoạn Video, đặt Alt, Keyword đầy đủ. Công việc này phải được làm liên tục và lâu dài.

 5.12.9.2 - Quảng bá website – tạo backlink

Việc tạo backlink tưởng chừng như đơn giản như việc: tạo tài khoản trên các mạng xã hội như Facebook, Myspace, Google +, Yahoo, Link In… hoặc tạo tài khoản ở các diễn đàn, trang web cùng loại khác rồi đăng bài có chèn link dễ giới thiệu, giúp các Spider biết được web nhưng lại vướng một trở ngại lớn khi ta cố tình tạo ra nhiều backlink trong một thời gian ngắn, việc này sẽ dẫn đến tình trạng Spam của Black Hat SEO. Cho nên, việc tạo backlink phải tiến hành trong một thời gian dài, cùng với số lượng bài viết lớn, nhưng phải có nội dung tích cực.

Hình 5.12.9.2: Thống kê Backlink

Việc tạo chữ kí chứa backlink dưới các bài viết có giá trị sẽ giúp trang web kiếm thêm được một lượng người truy cập từ các trang có danh tiếng (page rank cao), và phải thường xuyên chăm sóc cho các bài viết này.

Trong lúc tác giả thực hiện các phương pháp SEO của mình vào trang web Bmg.edu.vn cũng là thời gian Facebook đang trở thành mạng xã hội phổ biến tại Việt Nam FanPage Bmg.edu.vn với gần 53.000 người hâm mộ (và sẽ còn tăng theo thời gian) sẽ là một công cụ hữu ích giúp Bmg.edu.vn có được một lượng traffic không nhỏ từ đây.

Hình 5.12.9.3: Fan Page Facebook

Một trong những thành công, biểu hiện rõ rệt nhất là ở lượt truy cập. Vào tháng 1, khi trang web chỉ mới xuất hiện các biện pháp quảng cáo chỉ ở mức độ truyền miệng, liên kết quảng cáo thì lượt xem trang vào khoảng 1.200.000 lượt/tháng. Đến tháng 5 khi mới bắt đầu các biện pháp SEO thì lượt xem trang có tăng, nhưng chưa rõ rệt. Cho đến tháng 11, vào thời điểm tác giả viết báo cáo thì lượt truy cập đã tăng 200% so với tháng 5.

Hình 5.12.9.4: Biểu đồ so sánh traffic các tháng

Hình 5.12.9.5: Thống kê chi tiết traffic các tháng

Thống kê lượng tìm kiếm từ Google: khi Page Rank của trang web chưa được xếp hạng, traffic từ các cỗ máy tìm kiếm chủ yếu dựa vào yếu tố “kiên nhẫn” hoặc “bài viết duy nhất”. Đến tháng 11, khi trang web được xếp PR = 3. Cao hơn hẳn các đối thủ cạnh tranh trực tiếp là Guitar.vn và Aeguitar.org, thì lượt truy cập từ Google đã được cải thiện rõ rệt như sau:

Tháng Traffic từ SE (%) 1 82.35 2 82.91 3 83.21 4 84.34 5 84.14 6 84.05 7 83.54 8 90.33 9 92.45 10 92.87 11 94.67 Hình 5.12.9.6: Biểu đồ so sánh traffic từ các tháng

Bản đồ địa lý: trang web Bmg.edu.vn có một lượng người dùng đông đảo truy cập đến từ hơn 40 quốc gia/lãnh thổ trên toàn thế giới. Dựa vào bản đồ, ta có thể thấy được: lãnh thổ nào có lượt truy cập nhiều, vùng lãnh thổ đó được in đậm hơn các vùng lãnh thổ ít truy cập.

Hình 5.12.9.7: Bản đồ thống kê lượng truy cập

Theo thống kê, Việt Nam là nước có lượt truy cập cao nhất, kế đến là lượng người dùng tại Mỹ, Úc, Pháp…

Hình 5.12.9.8: Thống kê search ở các vùng lãnh thổ (có 40 vùng quốc gia)

5.13 - PHƯƠNG PHÁP GIỮ TOP 10 KHI SEO THÀNH CÔNG

Sau khi đã áp dụng các biện pháp SEO một cách nghiêm túc, tác giả đã có được thành công ban đầu khi các từ khóa “hoc marketing”, “học pr”,”học digital marketing” đang giữ vị trí trong TOP 3 khi người dùng truy vấn.

Với thành công đó, tác giả đề xuất những phương pháp sau để có thể duy trì lâu dài các vị trí đó:

Việc duy trì Top 10 của một từ hoặc cụm từ khóa còn tùy thuộc vào hiện trạng website, mức độ cạnh tranh của từ khóa được chọn, "sức khỏe" của các website đối thủ, kinh phí và phương pháp tiến hành cạnh tranh của bạn. Nếu từ khóa của bạn là duy nhất, bạn nên xem xét từ đó có mang lại lợi ích gì cho sự phát

triển của website không, người dùng có hay truy vấn vào các từ khóa đấy không (bởi vì

không phải việc chọn Keyword nào cũng chính xác.) Nếu không, bạn nên dành thời gian đề tìm ra một từ mới, có ích hơn.

Khoảng thời gian để chiếm được một vị trí hàng đầu trong danh sách kết quả hiển thị trên Yahoo, Bing sẽ nhanh hơn trên Google. Trung bình, mỗi chiến dịch chiếm lĩnh vị trí hiển thị ở Top đầu mất khoảng 10 – 40 ngày.

Thời gian duy trì thứ hạng hiển thị phụ thuộc vào mức độ thực hiện các biện pháp duy trì và mức độ cạnh tranh của từ khóa, nếu từ khóa có mức độ cạnh tranh cao (nhiều trang web sử dụng) thì bạn phải không ngừng quảng bá website, thực hiện đồng bộ các biện pháp để tăng những chỉ số mà các công cụ tìm kiếm dựa vào để đánh giá xếp hạng hiển thị.

Nếu các chỉ số đánh giá xếp hạng hiển thị website của bạn đã vượt xa các website đối thủ, bạn không nhất thiết phải tiếp tục nỗ lực tập trung cạnh tranh.

Sau từ 3 đến 6 tháng, bạn cần xem xét có nên tiếp tục cạnh tranh thứ hạng với các từ khóa đã được chọn nữa hay không.

 CÁC VẤN ĐỀ VỀ RANK

Một ngày không đẹp trời, kiểm tra các hệ thống thống kê, bạn nhận ra rằng: lượt truy cập giảm đáng kể, traffic từ các bộ máy tìm kiếm cũng không khả quan, thì có thể Rank của bạn đã giảm. Như đã biết, (chương 2) hệ thống PageRank được đánh giá dựa vào một vài chỉ số quan trọng như: độ hữu dụng của thông tin trên trang web, độ phổ biến của trang web, chất lượng kỹ thuật.. Vì vậy, việc đầu tiên chúng ta phải xem xét đến những vấn đề sau:

Một website trước đây có link trỏ đến trang web của bạn nhưng hiện tại link đó đã bị gỡ bỏ thì PageRank sẽ bị giảm.

Khi bạn thiết lập Internal Link giữa các bài viết theo cách không bình thường (phần này Matt Cutts không nói rõ nhưng theo tôi đoán có thể là quá nhiều link

trong bài viết, hoặc là nhiều links trỏ đến 1 keyword vì bạn muốn nâng rank keyword đó) cũng dẫn tới việc PageRank giảm.

Một vấn đề nữa khiến cho PageRank bị giảm rất nhiều đó là nếu để Google phát hiện ra bạn mua bán backlink (black hat seo) với các website khác thì sẽ bị phạt (có thể giảm tới 30%). Giải pháp là xóa bỏ link mà bạn đã mua, bán với website khác và gửi yêu cầu cho Google khôi phục lại PageRank cho mình. Nếu như sau khi Google kiểm tra thấy mọi thứ đều ổn thì sẽ trả lại giá trị PageRank cho webpage của bạn.

Server có hoạt động bình thường không? Điều này rất quan trọng, bởi khi Server gặp sự cố thì các Spider sẽ không tiếp cận được trang web của bạn một cách hiệu quả.

CHƯƠNG 6 : KẾT LUẬN – HƯỚNG PHÁT TRIỂN

 CÁC KẾT QUẢ ĐẠT ĐƯỢC

Tác giả đã tìm hiểu được nguyên tắc hoạt động của các bộ máy tìm kiếm, các cách thức thu thập thông tin cơ bản của các bộ máy tìm kiếm, đồng thời hiểu được các cách áp dụng các thủ thuật dựa trên những nguyên tắc hoạt động của bộ máy tìm kiếm nhằm giúp cho bộ máy tìm kiếm có thể “thấy” được trang web, Index được trang web nhanh chóng và hiệu quả hơn, và đây cũng là một công việc mang lại giá trị cốt lõi của SEO.

Với những hiểu biết đúng đắn đó, tác giả đã làm cho trang web Bmg.edu.vn đạt được vị trí top 3 khi SEO thành công từ khóa “học marketing” ở cả hai trường hợp có dấu và không có dấu. Các thủ thuật vừa nêu trên ngoài việc giúp cho các bộ máy tìm kiếm hiểu rõ được trang web thì còn giúp cho trang web Bmg.edu.vn đứng vị trí top 10 ở những từ khóa khác “học pr, học digital marketing đặc biệt là với từ khóa “học pr”. Trang web Bmg.edu.vn là một trong những trang đào tạo lĩnh vực Marketing lớn nhất miền nam nói riêng và Việt Nam nói chung.

 MẶT TRÁI CỦA VIỆC SEO

Không thể phủ nhận những lợi ích mà SEO đem lại cho người dùng. Tuy nhiên, việc dùng SEO cũng cần phải được tính toán khoa học vì:

SEO là một cuộc cân não giữa các webmaster, các webmaster phải chọn cho mình một con đường đi đúng đắn. Người thắng cuộc là người trang bị đầy đủ kiến

thức, kĩ năng và cả sự may mắn, bởi vì không phải lúc nào làm SEO cũng thành công.

Chuyện “rớt top” là không thể tránh khỏi, khi mà các nhà đầu tư quyết định dựa vào Google Adsense, một hình thức quảng cáo “Ưu tiên top 1” của Google.

Hơn nữa, các đối thủ cạnh tranh trực tiếp luôn muốn chiếm hữu từ khóa của bạn. Vì vậy, bạn phải nỗi lực hơn nữa để có thể giữ vị trí cao. Do đó, công việc này phải tiến hành bền bỉ theo thời gian.

Thực tế thì bất cứ ngành nghề nào cũng có những yếu tố khách quan chi phối, còn đối với SEO thì nó thực sự bị ảnh hưởng bởi các bộ máy tìm kiếm. Các thuật toán của bộ máy tìm kiếm luôn đổi mới để tránh Black Hat Seoer lạm dụng. Điều này cũng vô tình khiến các White Hat Seoer gặp khó khăn, khi mà những thay đổi đó không bao giờ công bố rộng rãi. Các White Hat Seoer phải bắt đầu lại từ con số 0 cùng với kinh nghiệm tích lũy trước đó của mình.

SEO cũng chỉ là những kĩ thuật nhất định, quan trọng nhất vẫn là một website có nội dung, nội dung website sẽ quyết định số lượng thành viên và số lượng truy cập vào trang web đó.

 ĐỀ XUẤT HƯỚNG PHÁT TRIỂN CHO SEOER

SEO chứa đựng nhiều rủi ro nhưng không phải vì thế mà bạn từ bỏ nó. Zing thành công nhờ lượng traffic lớn từ SEO, đại siêu thị Vật Giá có được lượng visitor như hôm nay thì SEOer là những công thần; VnExpress, Thanh Niên đã bắt đầu thực hiện SEO hay bé nhỏ hơn là gian hàng online đủ nuôi sống mình ngày càng phát triển cũng nhờ SEO...SEO chỉ thất bại khi bạn không có đầu tư thỏa đáng, không có một kiến thức vững vàng và một chiến lược phù hợp, và quan trọng hơn cả là sự kiên nhẫn của bạn cùng với một yếu tố may mắn.

Bên cạnh đó, tác giả đề xuất những phương pháp để phát triển trang web Guitarpro.vn để giúp trang web này đứng vững ở vị trí cao ở những từ khóa khác:

Hình 6.1: Sơ đồ duy trì và phát triển Bmg.edu.vn

Đầu tiên, để có thể tự duy trì diễn đàn, ta phải đặt banner để có thể kiếm thêm thu nhập, số tiền này sẽ được bổ sung vào chi phí nâng cấp hosting, và trang trải chi phí Google Adsense nếu thật sự cần thiết.

Việc phát triển nội dung của trang web không thể thiếu,vì với lượt truy cập khổng lồ như vậy, lượng thông tin cần có phải đáp ứng đủ nhu cầu của người sử dụng.

Nghiên cứu SEO thêm các từ khóa mới là một sáng kiến tốt cho một trang web có đông nhân lực.

Việc kiểm tra duy trì backlink, duy trì các từ khóa cũ phải được tiến hành, bởi vì đó là “định hướng ban đầu” của diễn đàn.

 LỜI KẾT

Nhìn chung, SEO chỉ là những kĩ thuật,hay nói chính xác hơn là những thủ thuật của các webmaster nhằm làm quảng bá website, làm cho site của mình được xuất hiện trên bộ máy tìm kiếm và “xuất hiện ở trên cao càng tốt”.

Những kĩ thuật nêu trên chỉ đơn thuần là kĩ thuật cơ bản, bất cứ website nào cũng phải có. Quan trọng nhất của SEO vẫn là nội dung của site. Nội dung site sẽ quyết định số lượng thành viên và số lượng người truy cập của site đó.

SEO đôi khi cũng không thành công. Việc SEO thành công không phải là việc làm một sớm một chiều được. SEO tốt đòi hỏi một đội ngũ Ban Quản Trị có kĩ năng và sự nhiệt huyết.

CHƯƠNG 7: TÀI LIỆU THAM KHẢO

 Application and Research of SEO in The Development of Web2.0 Site – Tác giả: Chengling Zhao, Jiaojiao Lu, Fengfeng Duan

 How to Improve Your Google Ranking Myths and Reality – Tác giả: Ao- Jan Su†, Y. Charlie Hu‡, Aleksandar Kuzmanovic†, and Cheng-Kok Koh‡

 The Application of Search Engine Optimization for Internet Marketing An Example of the Motel Websites

 Mattcutts Website - http://www.mattcutts.com/blog/

 Search Engine Optimization Starter Guide – được cung cấp bởi Google.

 Ebook Cẩm nang SEO toàn tập 2011 – TapchiSEO.com

 SEO made Easy - Brad Callen.

 Hội quán tin học - http://hoiquantinhoc.com/

 Thế giới SEO Việt Nam - http://www.thegioiseo.com/diendan/forum.php

 [*]http://eblogviet.com/thu-thuat/site-speed-them-mot-yeu-to-moi-giup- tang-thu-hang-tren-google.html

 SEO Worder - http://www.seoworkers.com/seo-articles-tutorials/search- engine-optimization.html

Một phần của tài liệu nghiên cứu và ứng dụng seo cho website (Trang 66 - 85)