Patreon 宣布与互联网基础设施提供商 Cloudflare 合作，直接屏蔽未经授权抓取创作者内容用于训练 AI 模型的爬虫。此次措施在 2023 年初步反爬策略基础上进一步升级，原因在于 AI 爬虫技术手段日益复杂，已不再遵守 robots.txt 的请求规则。
付费蔷之外的盲区
Patreon 的付费蔷此前已将大量创作者内容隔离于爬虫视野之外。但平台近年来推出的新功能——包括重新设计的首页动态（Home Feed）以及类推文功能 Quips——在一定程度上扩大了内容曝光面，增加了被爬取的风险。
从"请勿抓取"到主动封禁
过去 Patreon 主要依赖 robots.txt 向爬虫声明访问规则，实际效果有限。测试数据显示，在启用新措施后，单个 AI 训练爬虫每周访问尝试从"数千次降至零"，说明此前爬虫一直在无视 robots.txt 规则。
新方案基于 Cloudflare 的 AI Crawl Control 技术，改为主动阻断。Cloudflare 本月还调整了政策，将"混合用途"爬虫（即同时索引内容和训练 AI 的爬虫）默认屏蔽，同时推出 Pay Per Crawl 市场，允许网站向 AI 爬虫收取抓取费用。
Patreon 在官方博客中明确表示："Consent shouldn't depend on whether a scraper chooses to behave"（授权不应取决于爬虫是否选择守规矩）。
仍保留部分索引爬虫
封禁并非一刀切。Patreon 表示，将继续允许那些索引页面内容、组织信息并将用户导回 Patreon 的爬虫。
Patreon 产品负责人 Drew Rowny 在公告中指出："随着 AI 智能体日益强大和普及，创作者理应对其作品被 AI 公司使用的方式拥有实质性的发言权。在大多数互联网平台上，创作者不得不接受 AI 训练才能触达和增长受众。Patreon 的愿景不同：创作者应当既能扩大受众，又能掌控自己作品的使用方式。"
评论