File robots.txt chính là một tập tin văn bản đơn giản có dạng .txt. Robots.txt là một phần của Robots Exclusion Protocol (REP) chứa một nhóm những tiêu chuẩn Web quy định cách Robot Web (hay Robot của các công cụ tìm kiếm) truy cập, thu thập dữ liệu trên Web, Index nội dung và cung cấp cho người dùng.

Tìm hiểu thêm tại: https://tienziven.com/seo/robots-txt-la-gi/