robots.txt 是什么？网站必看的搜索引擎抓取规则

📍 WDQWDWQD987AAAAA:216.73.217.7
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7c77b4f79e68.html
📄

robots.txt 是网站根目录下的一个纯文本文件，用来告诉搜索引擎爬虫哪些页面可以抓取，哪些页面不能抓取。它是 “爬虫协议” 最基础、最广泛使用的实现方式，几乎所有主流搜索引擎都会遵循。

robots.txt 有什么作用？

合理配置 robots.txt 可以帮助网站：

• 避免后台、测试页被搜索引擎收录
• 减少重复内容和低质量页面被抓取
• 节省服务器带宽，降低爬虫压力
• 引导爬虫优先抓取重要页面

但要注意，robots.txt 只是“建议”，不是强制安全措施。恶意爬虫可能完全忽略它，因此不要用它来保护敏感数据。

robots.txt 的基本语法

常用指令包括：

1. User-agent：指定规则适用的爬虫，* 代表所有爬虫。
2. Disallow：禁止抓取的路径，例如 /admin/。
3. Allow：允许抓取的路径，常用于覆盖更宽泛的禁止规则。
4. Sitemap：声明网站地图地址，帮助爬虫发现页面。

一个简单示例如下：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /
Sitemap: https://www.example.com/sitemap.xml

robots.txt 常见误区

很多站长认为写了 Disallow 页面就不会出现在搜索结果中，这是错误的。如果其他网站链接了你的禁止页面，搜索引擎仍可能将其收录，只是无法抓取内容。要彻底阻止收录，应使用 noindex 元标签或 HTTP 响应头。

另外，robots.txt 文件必须放在网站根目录，且文件名大小写敏感，通常写作全小写。配置完成后，建议使用搜索引擎官方的 robots.txt 测试工具进行验证，避免误封重要页面。