Cloudflare 向 AI 行业发出最后通牒，要求在 2026 年 9 月 15 日前，将传统搜索引擎爬虫与 AI 智能体或训练用爬虫分开管理。新规生效后，Cloudflare 默认将屏蔽所有"混用型"爬虫访问含广告页面，除非网站所有者主动修改设置。
核心政策变化
此次调整影响范围广泛，适用于新客户、新增站点，以及所有现有免费客户。所谓"混用型"爬虫，是指同时兼顾搜索索引、AI 智能体调用和模型训练等多重用途的 crawler。
Cloudflare 特别点名"全球最大搜索引擎"（暗指 Google），指出其获取的信息量约为其他 AI 公司的 2 倍，原因是搜索巨头让客户很难在不参与 AI 训练的情况下保持内容可发现性。
背景：机器人流量首超人类
Cloudflare 联合创始人兼 CEO Matthew Prince 表示："如今互联网上大多数流量已非人类，我们必须加快行动，让可持续的生态系统得以形成。"此前有数据显示，机器人流量已首次超越人类在线流量，且这一里程碑比预期提前了约一年。
对发布者的实际影响
带宽与算力节省：Cloudflare 数据显示，AI 爬虫超过 50% 的抓取流量用于重复获取未变化页面，新规将有效降低发布者的资源消耗。
变现模式升级：Cloudflare 此前推出的"按次抓取付费"（Pay Per Crawl）市场正在演进为"按使用付费"（Pay Per Use）——不再仅按抓取次数计费，而是按内容实际产生价值向 AI 公司收费。
首批合作方：Ceramic.ai 和 You.com 已加入，发布者 opt-in 后，可在这两款 AI 搜索产品的结果中出现时获得收益，其他 AI 公司也可自定义接入模式。
Google 的回应：Google 此前辩称其提供 Google Extended 工具，允许网站所有者选择退出 AI 训练用途（不影响 Search 收录），但其旗舰爬虫 Googlebot 仍同时为搜索及 AI Overviews、AI Mode 等功能服务。
评论