robots.txt 看似简单，写错了影响收录，几个坑：

1. **大小写敏感**：文件名必须是小写的 `robots.txt`，放网站根目录
2. **`Disallow: /` 别乱写**：空着表示允许全抓，写个 `/` 就是全站屏蔽，新手最容易手滑
3. **Sitemap 写绝对地址**：`Sitemap: https://你的域名/sitemap.xml`，相对路径无效
4. **改完去站长平台验证**：百度、Google 都有 robots 测试工具，改完测一下
5. **别指望它做权限控制**：robots 只是君子协定，真不想被看的内容要在程序层做权限

另外 AI 爬虫现在种类多，建议搜索型和训练型分开决策，别一刀切。

主楼