Cách tạo file robots.txt cho wordpress tốt nhất hiện nay

Hướng dẫn chi tiết cách tạo file robots.txt và những câu lệnh khi tạo file

Sau đây chúng tôi xin hướng dẫn cho bạn cách cài đặt và tạo 1 file robots.txt hiệu quả

• User-agent – Xác định các công cụ tìm kiếm mà quy tắc được phép áp dụng.

VD: User-agent: ** trong khai báo có nghĩa là quy tắc này áp dụng cho mọi công cụ tìm kiếm.

• Disallow – Ngăn cản các công cụ tìm kiếm không thu thập thông tin và lập chỉ mục một tập tin, trang hoặc thư mục.
• Allow: Cho phép robot tìm kiếm truy cập vào mục chỉ định 

Vd: Disallow: /images/

• Sitemap: – Thông báo cho công cụ tìm kiếm biết đường dẫn sitemap của trang.

VD: Sitemap:http://wpguide.vn/sitema_index.xml

Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpDisallow: /wp-includes/Disallow: /search?q=*Disallow: *?replytocomDisallow: */attachment/*
Allow: /wp-includes/js/*Allow: /*.js$Allow: /*.css$Sitemap: http://fpttel.com.vn/sitemap_index.xml