File Robots txt la gi

Robots.txt là một phần của giao thức Robots Exclusion Protocol (REP) và là một tệp văn bản đơn giản có đuôi .txt. Nó được sử dụng để điều chỉnh quyền truy cập của các trình thu thập dữ liệu, chẳng hạn như các công cụ tìm kiếm, đến các trang web và tệp trong trang web của bạn.

Thông tin chi tiết: seothanhcong.vn/file-robots-txt-la-gi