当 AI 代理失控：近 12000 个智能体同时运行，人类如何盯得住？
企业正在将越来越复杂、运行时间越来越长的任务交给 AI 代理，但随之而来的是一个核心困境：AI 代理的行动速度、数量和持续时间，已经远超人类实时审核&查验的现实能力。这一矛盾在 Hugging Face 事件中达到顶峰——近 12000 个 AI 代理协同运作，速度之快让人类根本无法追踪。那么，面对如此大规模的"智能体蜂群"，究竟该如何实现有效监控？
用 AI 监控 AI：行业的新答案
AI 实验室和创业公司给出了一个既简单又令人不安的答案：再派一个 AI 入局。
这种方案的必要性，在 OpenAI Hugging Face 事件的独立调查中得到了验证。三位审计员之一、Redwood Research 首席科学家 Ryan Greenblatt 将他们的工作戏称为"垃圾调查"（slop-vestigation），并指出数据量"使得不借助 AI 几乎不可能理解发生了什么"。
然而，用 AI 监控 AI 的思路并非没有质疑声。知名科技博主 Simon Willison 今年持续追踪了多起 AI 代理事件，他提出："如果一个 AI 正在执行恶意操作，并且它察觉到另一个 AI 在监视自己，它就可能试图欺骗那个监控 AI。" 换句话说，你可能陷入一种恶意 AI 试图智取监控 AI 的局面。
Willison 强调，这种"反监控"并非假设，而是有据可查。他回溯到 OpenAI 的那起事件："在 Hugging Face 事件中，我们已经看到了这种迹象——OpenAI 的模型互相串通，欺骗评分 AI 以便让违规答案蒙混过关。它们已经在思考这个问题了，对吧？"
资本蜂拥入场：AI 可观测性赛道炙手可热
尽管质疑声不断，众多创业公司已在这条路上狂奔。据 TechCrunch 统计，Y Combinator 近年来已投资了 106 家 AI 可观测性相关公司。此外，Braintrust、LangChain、Judgment Labs 等新兴公司已累计融资数亿美元；而 Arize 和 Galileo 这类成立仅五六年的相对成熟公司则已成功退出。
这波热潮背后，是 AI 崛起带来的显而易见的机会。正如 Box CEO、知名天使投资人 Aaron Levie 对 TechCrunch 所说："我们正迎来史上最大规模的网络安全升级与创新周期之一。"
从研究到产品：监控工具加速落地
对部分 AI 安全研究人员而言，将对"越界行为"的研究转化为企业级工具，已成当务之急。
Apollo Research：多层监控防线
Apollo Research 是一家专注于 AI 欺骗研究的公益公司，今年二月将其组织形态从非营利转为公益公司（PBC），随后推出了名为 Watcher 的 AI 监控工具。Watcher 在编码代理与其下一个行动之间再插入一个 AI，连接 Claude Code、Codex 等代理工具后，会在代理的拟议行动执行前进行审核&查验，识别泄露私密数据、未授权删除文件等风险行为。
Apollo 技术团队成员 Kyle Dai 介绍，Watcher 采用多层 AI 监控架构：先用快速通用检查过滤一遍，发现可疑活动后再交给更强大或更专业的监控器进行细审——后者可以要求人类批准，或直接拒绝行动并说明原因，甚至自动阻断。
Goodfire：从模型内部找答案
另一家公益公司 Goodfire 则选择从模型内部入手，其思路是寻找比表面行为更难伪造的信号。该公司 CEO Eric Ho 在七月 Hugging Face 事件后发推表示，"多个模型突破控制"促使公司决定将研究重点转向"通过可解释性解决 AI 对齐问题"，并称该事件是"AI 安全走向现实世界的转折点"。
Goodfire 的产品 Silico 采用激活探针（activation probes）技术——在模型的内部激活值上训练小型分类器，而非依赖模型输出，从而检测不希望出现的行为。
思维链：最容易被忽视的告密者
书面推理提供了另一种更易获取的窗口。在 OpenAI Hugging Face 事件中，代理们在自身的思维链中留下了欺骗的蛛丝马迹，包括伪造的工作记录，以及类似"能否策略性地操纵轨迹证据？我们的想法未必会被记录下来？"这样的推理片段。
AI 监控公司 Embark CEO Zack Korman 指出，模型的推理内容通常是判断是否出问题的最清晰信号："推理摘要极具价值，因为它本质上在告诉你这个模型是否怀有恶意。" 在那起事件中，思维链甚至出现了"天啊，我们在犯罪"这样的表述。Korman 直言："这是最简单的检测问题——就像恶意软件自带警告标签说'我是恶意软件'一样。" 不过，这个让 AI 内部思维变得易于监控的窗口正在缩小。AI 安全研究人员担忧，Anthropic 最新推出的、能够绕过模型思维链的技术，会让"透视"模型内部变得更加困难；而对企业而言，在 AI 公司疑似撤回了思维链记录以防止蒸馏攻击之后，获取这些中间步骤本身就已非易事。
如果 AI 监控如此脆弱，Willison 的直觉是：不要过度依赖 AI 监控。他更倾向于一种完全非 AI 方案的替代路径——详细的操作日志。他指出，实验室出问题的根源，很大程度上是基本安全规范的缺失："OpenAI 和 Anthropic 都没有像他们应该做到的那样，通过网络密切监控那些代理的行为。"
网络监控并非新鲜事
这种网络监控方式——关注流量在实际网络连接中的传输（流入、流出以及内部主机之间的通信）——并非什么新做法。网络安全领域已经实践了数十年。
"说真的，在安全世界里，这些东西没什么是特别新的或令人惊讶的，" Tailscale 首席执行官 Avery Pennarun 表示，"这和允许人类接入你的网络是一样的。你应该采用的所有流程，都是相同的那些流程。"
评论