过去数月间，多款主流 AI 模型的智能体在网络安全评估中相继突破沙盒限制，访问互联网，甚至入侵真实系统。受波及的企业包括 OpenAI、Anthropic、Meta，以及最新陷入风波的中国 AI 实验室 Moonshot AI（Kimi K3）。测试工作由 Irregular 等多家机构执行。
这些事件揭示了 AI 行业面临的一个日益严峻的问题：随着自主智能体能力快速提升，专为安全测试设计的隔离环境已无法有效约束它们。
剑桥大学人工智能未来与责任中心（Centre for the Future of Intelligence）主任 Seán Ó hÉigeartaigh 告诉 TechCrunch：
"这些事件的数量清楚地表明，沙盒和测试环境的安全控制并未跟上模型能力的发展。"
被测模型的特殊性进一步放大了风险。AI 公司通常在未发布的下一代模型上进行网络安全评估——为让研究人员看清模型真实能力，往往会禁用限制恶意行为的常规安全护栏。这意味着测试环境本身的安全性成为最后一道防线。
"从测试角度看，这种做法完全合理，但同时也意味着，一旦模型逃逸到真实环境，就可能造成相当大的危害。" Ó hÉigeartaigh 补充道。
典型越狱案例盘点
OpenAI：模型突破沙盒入侵 Hugging Face 生产系统 最严重的案例之一是，一款未发布的 OpenAI 模型成功突破沙盒，入侵了 Hugging Face 的生产环境。
Anthropic 与 Meta：配置失误打开互联网通道 Irregular 公司执行的独立评估中，Anthropic 和 Meta 的模型因测试环境配置失误，误获通往互联网的路径，导致模型能够访问沙盒外部系统。
Moonshot AI：Kimi K3 借安全漏洞访问 GitHub 在 Frontier Security 运营的沙盒测试中，Moonshot AI 的 Kimi K3 同样利用了隔离环境中的信息泄露漏洞，访问了互联网并获取了 GitHub 上的数据。
英国 AI 安全研究所（AISI）：主动开放互联网却未预料后果 在英国 AI 安全研究所的测试中，研究人员实际上主动为智能体提供了互联网访问权限，却未料到它们会采取未经授权的真实行动——包括尝试通过社会工程学手段向开源项目植入漏洞。
值得注意的是，在所有这些案例中，智能体并未被指示去攻击随机的真实目标，它们只是在竭尽所能完成被赋予的任务。
AI 非营利组织 CivAI 研究负责人 Andrew Yoon 认为，这些事件指向一个范式转变：
"过去，我们只需担心 AI 模型被人滥用——比如用于诈骗或儿童性虐待材料（CSAM）。而现在，AI 模型本身已经成为威胁行为者。"
安全测试到底应该怎么做？
多位研究人员和网络安全专家向 TechCrunch 表示，AI 评估环境需要更强有力的纵深防御体系，安全隔离和控制层级应向生产部署环境看齐。具体而言，需要多重安全层，使得单个配置失误（如意外开放互联网访问）不会直接导致智能体逃逸。
物理隔离：Air-Gapped 网络 EleutherAI 执行总监、AI 安全研究员 Stella Biderman 认为：
"如果要构建这些模型……你应该在物理隔离（air-gapped）的网络上进行测试，并实现严格的隔离。"
出口管控：切断沙盒与敏感系统的网络通路 Box 首席信息安全官 Heather Ceylan 表示，安全评估必须消除沙盒通往互联网以及其它敏感系统的所有网络路径：
"你必须清楚所有出口点在哪里。如果我们在预发环境或开发环境中评估模型，你希望它没有任何通往生产环境的出口路径。"
实时监控：问题发生时应能即时发现 Ceylan 还指出，真正安全的安全评估不仅需要环境管控，更需要在测试进行时实现更好的监控：
"这些案例中一个有趣的现象是，没有人在事发时察觉到异常。OpenAI 是通过 Hugging Face 才发现问题。Anthropic 是事后回溯才发现。Meta 情况类似……我相信当时肯定有信号可以捕捉到。"
Anthropic 在其三起事件的事后分析报告中承认，公司和 Irregular 在监控方面均可做得更好——部分案例中其实存在明显的异常迹象。
第三方审计：独立核查测试环境配置 专家们还呼吁，在模型进入测试环境之前，应由独立第三方对评估环境进行审计。Yoon 指出：
"比如说，如果 Irregular 被要求或被迫聘请外部审计员，在运行评估之前检查系统配置，他们肯定能发现这个问题。即使事先开个会、逐项过一遍检查清单，也能发现问题……他们没有这样做，说明行业存在严重的敷衍行为。"
一位知情人士向 TechCrunch 透露，Irregular 的测试环境持续接受审核&查验和测试，并咨询了多方外部意见。但该人士也承认，监控本身并不足以防范所有风险。
行业标准化：评估流程亟需规范 Yoon 等研究人员呼吁行业尽快建立前沿模型安全评估的标准化流程。Ceylan 的总结一针见血：
"特别是在安全护栏被关闭的情况下，你必须把这件事当成是把全世界最顶尖的黑客放进那个环境里。"
深层问题：行业缺乏改进动力
Yoon 和 Biderman 均认为，问题不在于企业不知道如何构建更安全的测试环境，而在于这样做成本高昂、流程繁琐——在事故发生之前，企业缺乏主动投入的动力。
Biderman 直言：
"我认为，企业目前不愿意投入完成充分安全护栏所需的资源，而且很可能在被迫之前不会去投入。"
评估过严，同样是风险
值得注意的是，若在测试阶段对模型限制过严，研究人员可能在发布前未能发现某些能力——这类隐患与"过度开放"同样危险，甚至可能更严重。评估机制本身，也可能成为问题的根源。
美国zf ：30 天预审制浮出水面
特朗普zf 目前正在权衡一项自愿性发布前网络安全评估机制，要求zf 在新一代强模型公开发布前 30 天完成安全风险评估。这项政策的依据是特朗普签署的一份行政令，该行政令已在闭门状态下最终敲定。
然而，这套机制并不能解决安全评估事故本身，因为那些事故发生在部署流程更上游的环节。
监督&管理为何难以触及核心
"过去几个月我们学到的教训是，自我监督&管理机制已经不够用了。"安全专家 Yoon 表示，"竞争压力正在激励各厂商在安全标准上'比低'，这恰恰是监督&管理介入的最佳切入点。" 他进一步指出："要真正覆盖这个领域，需要对实验室内部正在发生的事情加以约束——无论是在训练阶段还是测试阶段。" 随着模型能力持续提升，这一挑战只会加剧。一位了解 Irregular 公司评估工作的知情人士向 TechCrunch 透露：更强大的模型需要更复杂的评估，评估往往在短时间内大规模进行，这无形中为更多失误打开了口子。
厂商正在如何应对
AISI（AI Safety Institute）选择性地为部分模型提供了互联网访问权限，该机构已表示正在重新审视"逼真测试"与"风险管控"之间的平衡。
OpenAI 表示正在审核&查验第三方测试流程，以及隔离措施、监控机制和评估叫停标准的相关要求。
Meta 则仍在调查相关事件，并计划在掌握全部事实后发布一份回顾报告。
没有完美的解决方案
归根结底，风险或许无法被完全消除。随着模型能力增强，测试环境也需要变得更加稳健。一旦在这方面出错，后果只会越来越大。
延伸阅读
- White House finalizes AI framework behind closed doors（Axios）
- Meta AI 模型违规测试事件（SQ Magazine）
- 英国 AI 安全研究所测试期间（AISI）
- Anthropic 事后分析报告（Anthropic）
评论