Robot.txt là gì ? Cách thức sử dụng file robots.txt

Tiếp tục bài viết về hướng dẫn tối ưu hóa onpage trong các phần trước trong bài viết này chúng ta đi tìm hiểu về file Robot.txt là gì? Cách thức sử dụng file robot.txt

rotbots-cach-su-dung-file-robotsrotbots cach su dung file robots

File Robots.txt là gì?

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Bạn tạo 1 file robots.txt vào đặt vào thư mục root của trang web
File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

Các User Agent của Google

Google có vài user-agent chính. Bạn có thể ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-agent tương ứng trong bảng ghi robots.txt. Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm kiếm với từ khóa “Googlebot”.

  • Googlebot: Đánh chỉ số từ các chỉ mục cũ và mới của Google.
  • Googlebot-Mobile: Đánh chỉ số cho các thiết bị cầm tay hoặc di động.
  • Googlebot-Image: Đánh chỉ số các tệp tin ảnh.
  • Mediapartners-Google: Xuất hiện trong các trang dăng quảng cáo của Google Adsense.
  • Adsbot-Google: Đánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords.

Cách sử dụng Google boot

Nếu bạn sử dụng WordPress một file robots.txt sẽ có dạng như sau:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent”:* có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những
filé của WordPress bắt đầu bằng wp-.
Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”,
ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Tự động tạo robots.txt

Nếu bạn có sử dụng Google Webmaster thì họ cũng cho phép bạn tạo robots.txt hoặc bạn có thể sử dụng Robots.txt Generator để tự động tạo file robots.txt cho mình
Sau khi bạn đã tạo xong file robots.txt đừng quên save, bạn chỉ việc upload lên thư mục gốc là hoàn thành.

Rồi vậy là bạn đã hiểu thêm về file robot.txt phải không nào, không quá khó khăn cũng không hề phức tạp. Bài viết tiếp theo chúng ta sẽ đi tìm hiểu về sitemapscách sử dụng sitemaps các bạn chú ý đón xem nhé

Ý nghĩ của bạn là gì? Hãy cho tôi biết ở phần bình luận bên dưới nhé. Đừng quên chia sẻ hoặc theo dõi RSS feed nếu bạn nghĩ rằng bài viết này là hữu ích !
About ngoanh

Tôi thích internet, đam mê Seo, Sem và Marketing Online và là một kẻ phi chính quy đi lên bằng con đường tà đạo. Tôi mong muốn sẽ chia sẻ các kiến thức mà tôi được học và đã đi làm giúp đỡ được các bạn một phần nào đó để rút ngắn thời gian tìm hiểu.
Nếu bạn gặp khó khăn về Seo, Sem, hay Marketing Online hãy liên hệ với tôi đừng ngại ! Facebook hoặc Google+ hoặc trang Liên hệ.

Comments

  1. trần thành nam says:

    t là dân It, đam mê Code nhưng lại theo SEO, SEM và Marketting Online, muốn bạn chia sẻ những thủ thuật để có thể cạnh tranh với cái xã hội ngày càng phức tạp và khó kiếm sống này, để có thể tồn tại 1 cách ngay thẳng, chính quy theo cái hướng mà mình đã chọn. làm ơn chia sẻ những gì bạn biết cho mình qua hòm thư các nhân:
    trannamit309@gmail.com

  2. Mình mới phát hiện site mình bị lỗi robot.txt
    Mà mình chưa biết sửa nó ở đâu ?
    Srr, Mình dân ngoài ngành 🙁

  3. không hiểu sao bên mình bị lỗi robots.txt
    trong khi mình xài google websmaster mà không tài nào sửa được cái dấu Disallow ca3

    User-agent: *
    Disallow: /

    ———- cứ hiện như vậy mặc dù đã lưu
    bạn có thể hướng dẫn mình cách sửa trên google webmaster ko?
    email: dongmynghecuongthinh@gmail.com
    Chân thành cám ơn

  4. Chào bạn!
    Mình dùng joomla, để các keywords của bài viết được ghi vào file robots.txt thì phải làm như thế nào nhỉ?

    Cám ơn bạn!

Speak Your Mind

*