• Thuật ngữ
  • Thủ thuật
  • Tài liệu
  • Hình ảnh đẹp
  • Hướng dẫn chơi game
  • Tải driver
ITEA.VN
  • Home
  • Thuật ngữ
  • Tài liệu
    • Đề thi Đại học
    • Đề thi lớp 10
  • Hình ảnh đẹp
  • Hướng dẫn chơi game
  • Thủ thuật
    • Thủ thuật đồ họa
    • Thủ Thuật Máy Tính
    • Thủ Thuật Office
    • Thủ thuật website
  • Tải driver
No Result
View All Result
  • Home
  • Thuật ngữ
  • Tài liệu
    • Đề thi Đại học
    • Đề thi lớp 10
  • Hình ảnh đẹp
  • Hướng dẫn chơi game
  • Thủ thuật
    • Thủ thuật đồ họa
    • Thủ Thuật Máy Tính
    • Thủ Thuật Office
    • Thủ thuật website
  • Tải driver
No Result
View All Result
ITEA.VN
No Result
View All Result
Home Thủ thuật

Robots.txt? Công dụng file là gì? Viết chúng thế nào?

Thu Thảo by Thu Thảo
22/06/2023
in Thủ thuật, Thủ thuật website, Thuật ngữ
0
robot.txt là gì
0
SHARES
2
VIEWS
Share on FacebookShare on Twitter

Bạn không phải là dân chuyên thiết kế website, học nghề website thì đây cũng có thể là phần giới thiệu về file robots.txt giúp ích ít nhiều cho bạn trong việc quảng bá website. Vậy File robots.txt này là gì? Nó có quan trọng đối với trang web của bạn không? Hãy cùng iTea.vn tìm hiểu về tập tin này.

Mục lục

  • 1 Robots.txt là gì? Nó rất quan trọng?
    • 1.1 Robots.txt?
    • 1.2 Tầm quan trọng của robots.txt
  • 2 Viết Robots.txt?
    • 2.1 Vị trí được lưu trên dịch vụ lưu trữ dữ liệu trang web. Và kiểm tra xem trang web có File robots.txt không
    • 2.2 Tạo file Robots.txt đơn giản
    • 2.3 Robots.txt cho wordpress
    • 2.4 Sử dụng plugin yoastseo cho wordpress

Robots.txt là gì? Nó rất quan trọng?

Robots.txt?

Đầu tiên là một File dưới dạng rô bốt của trang web của bạn. Với nhiệm vụ chính là cho phép hoặc ngăn chặn robot của người tìm kiếm và người dùng đo lường: google, bing, MOZ, … vào để đọc nội dung trang web của bạn. Nói cách khác, tệp robot là người bảo vệ web tránh các bot khác đọc được, mặc dù người dùng vẫn truy cập vào trang web của bạn để đọc nội dung nhưng các robot thu thập thông tin khác cũng không thể vào được.

Robot bảo vệ trang web của bạn

Không chỉ vậy, chú robot này còn hỗ trợ các robot trang web khác đọc nội dung trang web của bạn. Nó gần như là một hướng dẫn cho các robot trang web khác. Đọc đến đây chắc bạn cũng hơi thắc mắc tại sao phải tạo file robots này? Các rô bốt của trang web khác có được bảo vệ không? Tại sao lại cho phép các rô bốt khác đọc trang web của tôi? Những câu hỏi này tôi sẽ trả lời trong phần quan trọng sau đây.

robot.txt là gì

Tầm quan trọng của robots.txt

Như đã nói ở trên, robots.txt là người bảo vệ website với khả năng này, họ sẽ quản lý các robot khác vào website. Với công dụng chính đó, robot sẽ cho phép trang web của bạn xuất hiện trên mạng tìm kiếm google, bing, … hoặc có các chỉ số đo lường trang web như moz, ahrefs, … Nếu bạn cho phép các robot khác vào.

Hiện tại, các trang web tìm kiếm và cung cấp các trang web có giá trị sử dụng các rô bốt khác nhau. Như vậy lượt truy cập mới vào trang web của bạn sẽ xuất hiện trên các trang web tìm kiếm và đánh giá. Nói cách khác, nếu có File robots.txt, nó sẽ thông báo cho các rô bốt khác: “Này, tôi ở đây, bạn nên đọc nội dung trang web của tôi, nó thực sự tốt cho người dùng“.

Có một số rô bốt được sử dụng để phá hoại hoặc hack trang web của bạn. Thì đây cũng là cách giúp bạn bảo vệ website của mình. Mặc dù bạn cho phép rô bốt vào, bạn sẽ chặn một số URL quan trọng như wp-admin (cho bạn sử dụng wordpress). Điều này cũng gần như ngăn không cho các robot khác vào và đọc trang web của bạn.

Điểm lưu trữ File robots.txt trong thư mục publict.html (bản trình diễn qua File Zilla)

Nếu bạn là người làm SEO hoặc quảng bá trang web, File robots.txt sẽ giúp bạn giới thiệu trang web với nhiều loại mạng. Hãy chú ý đặt đúng hướng dẫn để robot của bạn khai thác triệt để.

Viết Robots.txt?

Sử dụng ứng dụng Notepadd++ để tạo file robots.txt

>>> Tham khảo ngay tài liệu của Google liên quan tới cách tạo file Robots.txt 

Vị trí được lưu trên dịch vụ lưu trữ dữ liệu trang web. Và kiểm tra xem trang web có File robots.txt không

Bạn ngay lập tức lưu vào thư mục public_html của dịch vụ lưu trữ.

Bạn có thể kiểm tra xem File robots.txt có khả dụng hay không bằng cách truy cập trình duyệt trang web: nhập tên miền / sitemap.txt. Nếu trang web của bạn là 404 thì không có File, nếu bạn tải bất kỳ mã nào, nó sẽ có sẵn. Đi đến dịch vụ lưu trữ trang web của bạn và sửa chữa nó. Sau đây bạn có thể tham khảo bài viết dưới đây.

Tạo file Robots.txt đơn giản

Đây là File robots.txt Tôi đã viết đơn giản nhất:

User-Agent: *

Allow: /

Disallow: /admin

Sitemap: tên_website/sitemap.xml

Trong đó:

  • User-Agent: * là cho phép tất cả rô bốt truy cập trang web của bạn
  • Allow: / Cho phép rô bốt đọc url trên trang web của bạn
  • Disallow: / admin Điều này đang chặn robot đọc url (miền / quản trị viên) của trang web của bạn. (domain / admin: là phần quản trị quản trị trang web của tôi
  • Sitemap: name_website / sitemap.xml Đây là phần bản đồ của trang web của bạn

Sitemap.xml là gì? Làm thế nào để tạo sitemap cho website? Các trang web hỗ trợ tạo sơ đồ trang web

Bạn có thể tùy chỉnh nó bằng 2 lệnh allow: url (allow) và disallow: url (không được phép): để đặt các rô bốt khác trên trang web của bạn đúng cách. Đối với các url bạn điền vào, hãy để phần domain (tên miền) ở phía trước.

Ví dụ về file robots.txt của iTea.vn

file robots.txt

Robots.txt cho wordpress

Đây là File robots.txt chuẩn theo wp được tạo bởi trang web của tôi lúc đầu

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Allow: /wp-admin/images/*

Sitemap: tên_website/sitemap.xml

Bạn có thể sao chép và điền lại. Hoặc bạn có thể tải xuống và chỉnh sửa lại.

Sử dụng plugin yoastseo cho wordpress

Nếu bạn sử dụng wordpress, bạn có thể sử dụng plugin yoastseo để tạo File robots.txt và quản lý File robots hoặc sơ đồ trang web mà không cần phải truy cập dịch vụ lưu trữ trang web.

Bạn đầu tiên đăng nhập quản trị wordpress => chọn biểu tượng yoast seo => Dụng cụ => Trình chỉnh sửa File

Các công cụ hỗ trợ của Yoast SEO

Chỉnh sửa File Robots.txt và lưu chúng

Tại đây bạn sẽ tạo và quản lý 2 File robots.txt hoặc là .htccass. Nếu chưa có thì bạn có thể chỉnh sửa tại đây và lưu lại.

Lưu ý: yoast seo dù có trả phí hay không đều có thể sử dụng.

Ở đây tôi sẽ chia sẻ một bản yoast seo đồng ý hoạt động Chỉ cần tải nó lên wordpress và sử dụng nó.

Có thể bạn quan tâm

Website nén ảnh online. Giảm dung lượng hình ảnh

Cache Là Gì? Cache Website Có Tốt Hay Không?

Hướng dẫn xem kích thước ảnh, trên máy tính – website

Previous Post

Shub Classroom là gì? Phần mềm học trực tuyến tốt nhất

Next Post

Reset Iphone khôi phục lại cài đặt gốc của máy

Thu Thảo

Thu Thảo

Next Post
cách reset iphone

Reset Iphone khôi phục lại cài đặt gốc của máy

Trả lời Hủy

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

  • Trending
  • Comments
  • Latest
các ký tự đặc biệt trong photoshop

Hướng Dẫn Cách Dùng Ký Tự Đặc Biệt Trong Photoshop Bằng Glyph

26/08/2023
hình nền máy tính

1.500k+ Hình nền Máy tính Đẹp HD 4k cho Desktop, Laptop Win 11, Win 10 Full 4K

22/07/2023
phần mềm lightworks

LightWorks là gì? Cách sử dụng phần mềm Lightworks để tạo video

22/07/2023
tài khoản gmail miễn phí

Share acc Gmail Free list nick 2019, 2020

26/08/2023
ps là gì? ý nghĩa của ps và pps trong thư hoặc trên mạng

PS là gì? Ý nghĩa của từ PS, PPS trong thư hoặc trên mạng

0
hướng dẫn sửa lỗi 99% bị dừng trên idm

Hướng dẫn sửa lỗi download 99% bị dừng lại trên IDM

0
Cách tô màu trong photoshop cho một hay lớp đối tượng

Cách tô màu trong photoshop cho một hay lớp đối tượng

0
Yorn – Một vị tướng trong game Liên Minh Huyền Thoại có dame cao

Dame là gì? Ý nghĩa và cách dùng của dame trong game

0
Free fire

Share Acc Free Fire – FF VIP Miễn Phí Mới Nhất 2023

07/09/2023
Cách khắc phục lỗi “The parameter is incorrect” trong windows 10

Cách khắc phục lỗi “The parameter is incorrect” trong windows 10

28/08/2023
các ký tự đặc biệt trong photoshop

Hướng Dẫn Cách Dùng Ký Tự Đặc Biệt Trong Photoshop Bằng Glyph

26/08/2023
tài khoản gmail miễn phí

Share acc Gmail Free list nick 2019, 2020

26/08/2023

Recent News

Free fire

Share Acc Free Fire – FF VIP Miễn Phí Mới Nhất 2023

07/09/2023
Cách khắc phục lỗi “The parameter is incorrect” trong windows 10

Cách khắc phục lỗi “The parameter is incorrect” trong windows 10

28/08/2023
các ký tự đặc biệt trong photoshop

Hướng Dẫn Cách Dùng Ký Tự Đặc Biệt Trong Photoshop Bằng Glyph

26/08/2023
tài khoản gmail miễn phí

Share acc Gmail Free list nick 2019, 2020

26/08/2023
ITEA.VN

https://itea.vn/ Chia sẻ link Tải phần mềm - Download, ứng dụng, game, tài liệu full cho Windows, MAC, Androi, IOS nhanh nhất. Tải phần mềm full crack tốc độ
Ghế Massage Elipsport

Chuyên mục

  • Thuật ngữ
  • Thủ thuật
  • Tài liệu
  • Hình ảnh đẹp
  • Hướng dẫn chơi game
  • Tải driver

Follow Us

No Result
View All Result
  • Thuật ngữ
  • Hình ảnh đẹp
  • Tài liệu
    • Đề thi Đại học
    • Đề thi lớp 10
  • Hướng dẫn chơi game
  • Thủ thuật
    • Thủ thuật đồ họa
    • Thủ Thuật Máy Tính
    • Thủ Thuật Office
    • Thủ thuật website
  • Tải driver

https://itea.vn/ Chia sẻ link Tải phần mềm - Download, ứng dụng, game, tài liệu full cho Windows, MAC, Androi, IOS nhanh nhất. Tải phần mềm full crack tốc độ
Ghế Massage Elipsport