Bạn không phải là dân chuyên thiết kế website, học nghề website thì đây cũng có thể là phần giới thiệu về file robots.txt giúp ích ít nhiều cho bạn trong việc quảng bá website. Vậy File robots.txt này là gì? Nó có quan trọng đối với trang web của bạn không? Hãy cùng iTea.vn tìm hiểu về tập tin này.
Robots.txt là gì? Nó rất quan trọng?
Robots.txt?
Đầu tiên là một File dưới dạng rô bốt của trang web của bạn. Với nhiệm vụ chính là cho phép hoặc ngăn chặn robot của người tìm kiếm và người dùng đo lường: google, bing, MOZ, … vào để đọc nội dung trang web của bạn. Nói cách khác, robot là người bảo vệ web tránh các bot khác đọc được, mặc dù người dùng vẫn truy cập vào trang web của bạn để đọc nội dung nhưng các robot thu thập thông tin khác cũng không thể vào được.
Không chỉ vậy, chú robot này còn hỗ trợ các robot trang web khác đọc nội dung trang web của bạn. Nó gần như là một hướng dẫn cho các robot trang web khác. Đọc đến đây chắc bạn cũng hơi thắc mắc tại sao phải tạo file robots này? Các rô bốt của trang web khác có được bảo vệ không? Tại sao lại cho phép các rô bốt khác đọc trang web của tôi? Những câu hỏi này tôi sẽ trả lời trong phần quan trọng sau đây.
Tầm quan trọng của robots.txt
Như đã nói ở trên, robots.txt là người bảo vệ website với khả năng này, họ sẽ quản lý các robot khác vào website. Với công dụng chính đó, robot sẽ cho phép trang web của bạn xuất hiện trên mạng tìm kiếm google, bing, … hoặc có các chỉ số đo lường trang web như moz, ahrefs, … Nếu bạn cho phép các robot khác vào.
Hiện tại, các trang web tìm kiếm và cung cấp các trang web có giá trị sử dụng các rô bốt khác nhau. Như vậy lượt truy cập mới vào trang web của bạn sẽ xuất hiện trên các trang web tìm kiếm và đánh giá. Nói cách khác, nếu có File robots.txt, nó sẽ thông báo cho các rô bốt khác: “Này, tôi ở đây, bạn nên đọc nội dung trang web của tôi, nó thực sự tốt cho người dùng“.
Có một số rô bốt được sử dụng để phá hoại hoặc hack trang web của bạn. Thì đây cũng là cách giúp bạn bảo vệ website của mình. Mặc dù bạn cho phép rô bốt vào, bạn sẽ chặn một số URL quan trọng như wp-admin (cho bạn sử dụng wordpress). Điều này cũng gần như ngăn không cho các robot khác vào và đọc trang web của bạn.
Nếu bạn là người làm SEO hoặc quảng bá trang web, File robots.txt sẽ giúp bạn giới thiệu trang web với nhiều loại mạng. Hãy chú ý đặt đúng hướng dẫn để robot của bạn khai thác triệt để.
Viết Robots.txt?
Viết File này khá đơn giản vài dòng và lưu nó với phần mở rộng txt. Bạn có thể sử dụng notepad tốt notepad ++ Xin vui lòng.
Vị trí được lưu trên dịch vụ lưu trữ dữ liệu trang web. Và kiểm tra xem trang web có File robots.txt không
Bạn ngay lập tức lưu vào thư mục public_html của dịch vụ lưu trữ.
Bạn có thể kiểm tra xem File robots.txt có khả dụng hay không bằng cách truy cập trình duyệt trang web: nhập tên miền / sitemap.txt. Nếu trang web của bạn là 404 thì không có File, nếu bạn tải bất kỳ mã nào, nó sẽ có sẵn. Đi đến dịch vụ lưu trữ trang web của bạn và sửa chữa nó. Sau đây bạn có thể tham khảo bài viết dưới đây.
Robots.txt đơn giản
Đây là File robots.txt Tôi đã viết đơn giản nhất:
User-Agent: * Allow: / Disallow: /admin Sitemap: tên_website/sitemap.xml
Phía trong:
- Đại lý người dùng: * là cho phép tất cả rô bốt truy cập trang web của bạn
- Cho phép: / Cho phép rô bốt đọc url trên trang web của bạn
- Disallow: / admin Điều này đang chặn robot đọc url (miền / quản trị viên) của trang web của bạn. (domain / admin: là phần quản trị quản trị trang web của tôi
- Sơ đồ trang web: name_website / sitemap.xml Đây là phần bản đồ của trang web của bạn
Sitemap.xml là gì? Làm thế nào để tạo sitemap cho website? Các trang web hỗ trợ tạo sơ đồ trang web
Bạn có thể tùy chỉnh nó bằng 2 lệnh allow: url (allow) và disallow: url (không được phép): để đặt các rô bốt khác trên trang web của bạn đúng cách. Đối với các url bạn điền vào, hãy để phần domain (tên miền) ở phía trước.
Robots.txt cho wordpress
Đây là File robots.txt chuẩn theo wp được tạo bởi trang web của tôi lúc đầu
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Allow: /wp-admin/images/* Sitemap: tên_website/sitemap.xml
Bạn có thể sao chép và điền lại. Hoặc bạn có thể tải xuống và chỉnh sửa lại.
Sử dụng plugin yoastseo cho wordpress
Nếu bạn sử dụng wordpress, bạn có thể sử dụng plugin yoastseo để tạo File robots.txt và quản lý File rô bốt hoặc sơ đồ trang web mà không cần phải truy cập dịch vụ lưu trữ trang web.
Bạn đầu tiên đăng nhập quản trị wordpress => chọn biểu tượng yoast seo => Dụng cụ => Trình chỉnh sửa File
Tại đây bạn sẽ tạo và quản lý 2 File robots.txt hoặc là .htccass. Nếu chưa có thì bạn có thể chỉnh sửa tại đây và lưu lại.
Lưu ý: yoast seo dù có trả phí hay không đều có thể sử dụng.
Ở đây tôi sẽ chia sẻ một bản yoast seo đồng ý hoạt động Chỉ cần tải nó lên wordpress và sử dụng nó.