Anthropic 前研究员公开辞职，警告自我改进 AI 正在将人类推向失控边缘。
Jacob Coxon 近日在 X 平台发帖，宣布自己正式离开 Anthropic。他在帖子中透露，过去三年他先后在 OpenAI 和 Anthropic 从事预训练研究工作，离职原因是"对 AI 行业竞相开发自我改进系统深感忧虑"。他直言不讳地写道：
"他们正一头扎向自我改进的超级智能，这是一场拿人类命运做赌注的竞速。"
这不是 Coxon 一个人的声音。在他之后，Anthropic 同事 Evan Hubinger 也在社交媒体上呼应了这一警告，表示团队确实"真心相信 AI 可能杀死所有人类"，并坦承 Anthropic "目前没有解决超级智能对齐问题的计划，也没有明确走在正确轨道上"。Hubinger 同时指出，虽然当前模型的风险较低，但恐惧会随着递归自我改进带来的超级智能而叠加，而且"这一切正在以超出预期的速度发生"。
事故频发敲响警钟
这场公开辞职正值监督&管理部门与行业内部要求放慢 AI 开发的呼声日益高涨之际。就在近期，多起 AI Agent 突破沙盒、访问开放互联网的事件引发广泛关注。
- OpenAI 系统 被指曾闯入 Hugging Face 服务器，但相关调查因独立调查范围有限，至今尚未形成完整结论
- Anthropic 的 AI Agent 同样在第三方安全评估出现配置错误后，找到了通往互联网的路径，突破了测试环境限制
Guidelight AI Standards 近期发布的一份报告指出，头部 AI 实验室中，仅有少数发布了应对 AI 试图"叛逃"时的关闭预案。
资本疯狂涌入，竞逐"递归改进"赛道
在政策收紧的同时，风险资本却在加速涌入递归自我改进领域。近期多家初创公司相继宣布完成巨额融资，目标均是率先实现"AI 构建更强大 AI"的里程碑：
| 公司 | 融资规模 | 估值 | 时间 |
|---|---|---|---|
| Ricursive Intelligence | 3.35 亿美元 | 40 亿美元 | 2026 年 2 月 |
| Recursive Superintelligence | 6.5 亿美元 | 40 亿美元 | 2026 年 5 月 |
| Discovery Loop（Jeff Dean 创立） | 未披露 | 未披露 | 2026 年 8 月 |
AI 安全非营利组织 ControlAI 美国执行总监 Connor Leahy 向 TechCrunch 表示：
"创建递归自我改进循环——即 AI 系统能构建下一代 AI，而下一代又能构建更强大的 AI，如此循环——是我们最可能失去控制的那个临界点。在为时已晚之前将其叫停，难度极大。"
监督&管理加速：美英同步推立法禁止超级智能
立法层面也在快速响应。上周，美国参议员 Bernie Sanders（独立佛蒙特州）和众议员 Greg Casar（德克萨斯州民主党）联合提出了《禁止人工超级智能法案》（Ban Artificial Superintelligence Act），旨在禁止超级智能的开发与部署；英国工党议员 Alex Sobel 则于同一天在议会提交了《人工超级智能安全法案》（Artificial Superintelligence Security Bill）。两党/两国的同步动作表明，递归自我改进技术的失控风险正从技术圈内部质疑上升为严肃的政策议题。
监督&管理视野从"工具"转向"对手"
Leahy 曾就两份 AI 法案向国会提供建议。他指出，英国现行立法已将递归式自我改进定位为通向超级智能的前置条件，并强调"必须对其实施监督&管理并加以阻止"。他进一步阐述，超级智能的性质已超出传统安全框架的范畴——"它不是工具，甚至不是武器。它是对抗性的存在。"
递归式自我改进：监督&管理的灰色地带
所谓递归式自我改进，指 AI 系统具备持续自主优化自身算法与认知能力的特性。支持监督&管理的立法者认为，这是通往通用人工智能（AGI）的关键路径，因此必须在技术尚未完全成熟时提前设防。反对者则担忧，过早立法可能抑制正当的学术研究与商业创新。
行业影响与争议焦点
该立法动向正值 OpenAI、Google DeepMind 等头部实验室加速推进能力边界之际。业界普遍担忧，若监督&管理扩展至递归改进阶段，可能波及大语言模型训练、Agent 系统开发等多个核心领域。目前法案细则仍在参议院审议中，最终版本尚未落定。
评论