robots.txt可以表达对合规爬虫的访问规则,但搜索抓取、模型训练与用户触发访问是不同用途。配置时应按目标产品当前文档区分,而不是认为禁止训练爬虫就必然禁止搜索引用;敏感数据应另有权限控制。
区分用途再配置
以OpenAI文档为例,OAI-SearchBot用于搜索,GPTBot用于训练相关抓取,二者控制独立。需要分别决定哪些公开页面允许搜索发现,哪些内容不希望用于训练。具体名称和机制可能更新,设置前核对原始文档。
公开与私有内容分开
后台、私人文件和需要登录的内容,不应靠公开robots规则保护。服务器认证和访问控制负责真正限制访问;robots只是抓取约定,也会公开路径信息。公开页面的索引指令还需单独核对。
修改后怎样检查
备份规则,测试关键URL与对应爬虫,确认没有误挡公开正文或重要资源。结合日志观察变化,但允许抓取不等于收录或引用。业务策略变更时保留配置记录与生效日期。
实践检查清单
- 区分搜索和训练
- 核对官方名称
- 保护私有内容
- 测试规则
- 保存变更记录
资料与核对说明
本文依据《GEO常见问题100问》(2026年8月资料)扩展整理,保留原题意并补充适用条件、执行方法与检查项。未经证实的统计、匿名案例和绝对化宣传未作为事实发布。