Cloudflare 爬虫开始尊重 Content Signals：SEO、RAG 与 AI 训练要分开授权

Cloudflare 爬虫开始尊重 Content Signals：SEO、RAG 与 AI 训练要分开授权

Cloudflare 在 8 月 31 日更新 Browser Run 的 /crawl 端点，开始执行 robots.txt 中的 Content Signals。调用者用 contentUse 声明希望以 reference 或 full 方式使用内容；若网站许可更严格，任务会直接返回 400。AI 搜索、RAG 和内容 SEO 团队从此多了一项机器可读的抓取授权检查。

传统 robots.txt 主要回答能否访问某条路径。生成式 AI 把抓取拆成搜索索引、查询时模型输入、训练或微调。网站愿意被搜索发现，不等于愿意把全文交给训练系统；Content Signals 试图把差异写进公开文件。

robots.txt 现在要表达“怎么用”，不只表达“抓不抓”

Cloudflare 列出三个 crawlPurposes：search 用于搜索索引与链接摘录，ai-input 用于 RAG 或 grounding 等查询时输入，ai-train 用于训练或微调。网站可按用途允许或拒绝，调用者也要声明目的。

/crawl 默认声明三种用途；若目标站拒绝其中任意一项，而调用者没有缩小 crawlPurposes，任务就可能被拒绝。只做站内搜索却沿用默认参数，会多声明并不需要的训练目的。按最小用途请求，比收到 400 后反复试参数更清楚。

contentUse 再区分使用强度，reference 比默认的 full 更克制；网站层级低于请求意图时，Cloudflare 会拒绝抓取。用途回答“拿来做什么”，层级回答“用到什么程度”，两个字段都应记录。

这项机制会影响 AI SEO，但不会替代内容质量

内容站可以允许 search、限制 ai-train；是否开放 ai-input，取决于是否希望进入问答和引用。页面仍要有稳定 canonical、更新时间、可验证来源和完整段落。Content Signals 不会自动提高排名，也不保证模型引用。

这不是对所有爬虫都有强制力的权限系统。Cloudflare 称 Content Signals 是基于信任的机制，本次更新只能证明 Browser Run 会执行声明，不能推导出所有搜索引擎或自建爬虫都会照做。重要内容仍要配合访问控制、限速、日志和必要的身份验证。

SEO 发布流程应检查 sitemap、search 与 ai-input、canonical 和结构化数据。不要为了阻止训练封掉 search，也不要为了 AI 曝光放开所有用途。改动后要分别测试搜索抓取、RAG 抓取和匿名访问。

RAG 与模型 API 需要两套独立的合规记录

不少团队只记录大模型 API 请求，却忽略抓取和向量化。时间、URL、用途声明、站点规则、版本和来源都应可追溯；否则模型网关即使保存费用日志，也解释不了材料为何进入知识库。

统一模型网关或 AI 中转站负责鉴权、路由、计费和稳定性，不能代替内容授权。抓取层应保存许可与来源，索引层记录版本，推理层记录模型、提示和引用。授权变化时，团队才能定位受影响的向量、缓存与答案。

涉及版权、个人数据或付费内容时，应由法务或数据治理人员审阅用途。高风险输出还要由独立流程复核来源与结论。

如果应用已通过 [AnyAIS](/) 统一调用模型，下一步可以补齐抓取与引用治理：内容许可、来源和版本仍需逐条保留。

资料来源：[Cloudflare Changelog：Crawl endpoint now respects the Content Signals use directive](https://developers.cloudflare.com/changelog/post/2026-08-31-crawl-content-use/)、[Cloudflare Browser Run：/crawl 文档](https://developers.cloudflare.com/browser-run/quick-actions/crawl-endpoint/)。