AIUC 拟帮助企业约束失控 AI 代理

内容管家 AI领域评论0字数 864阅读2分52秒阅读模式
AIUC 拟帮助企业约束失控 AI 代理

AIUC A 轮融资 4000 万美元:把 SOC 2 审计逻辑套用到企业 AI 代理安全

Anthropic 研究员 Jacob Coxon 因担忧 AI 或在十年内终结人类而辞职的次日,另一群人给出了他们的答案——AIUC(Artificial Intelligence Underwriting Company)宣布获得 4000 万美元 A 轮融资,尝试将网络安全领域成熟的第三方审计认证模式引入企业 AI 代理的风险管控。

AIUC 联合创始人 Rune Kvist 此前是 Anthropic 早期员工,妹夫 Rajiv Dattani 则曾担任 AI 安全研究组织 METR 的 COO。两人向 TechCrunch 表示:

"AI 正以越来越快的速度变得更聪明。令人意外的是,AI 越聪明,企业采用它反而越难、控制它也越难——而不是更容易。"

他们观察到,金融机构、医院、zf 和军队拒绝部署 AI 的原因已不再是"模型不够强",而是"无法向用户保证 AI 系统不会做出承诺范围之外的行为"。

核心产品:AIUC-1 标准与 5000 项测试

AIUC 的解决思路是借鉴网络安全领域的 SOC 2 标准,构建一套名为 AIUC-1 的 AI 代理安全认证体系。具体做法分为三步:

  1. 组建买方联盟:AIUC 联合了约 250 名安全与风控负责人(也就是 AI 代理的采购方),定期收集他们在采购代理时最关心的问题与验收标准。
  2. 自动化测试:将代理置于越狱提示词、幻觉输出、数据泄露等场景中,运行约 5000 项测试
  3. 出具审计报告:最终生成一份近百页的报告,标注代理在哪些方面表现安全可靠,在哪些方面存在隐患。

值得一提的是,AIUC 使用 AI 代理来执行测试、用 AI 分析数据,最终再由人工完成审计核验。

与 METR 的渊源

这一思路与 Rajiv Dattani 的前东家 METR 一脉相承。METR 成立于 2024 年至 2025 年间,此前主要面向前沿实验室做性能评估(代理能否可靠完成任务),也是 OpenAI 调查 Hugging Face 安全事件的独立研究方之一。Anthropic CEO Dario Amodei 近期也撰文呼吁行业放慢前沿模型开发速度,并点名 METR 作为可嵌入的第三方评估机构候选。

AIUC 的定位并非在客户站点嵌入,而是为企业提供独立的 AI 代理安全评估,让采购方在决策前清楚"代理在哪里可信、在哪里需要留意"。

融资情况

轮次 金额 领投方 其他参与方
种子轮 1500 万美元 Nat Friedman(NFDG 基金) Emergence、Terrain、Anthropic 联合创始人 Ben Mann
A 轮 4000 万美元 Ribbit Capital First Harmonic

累计融资:5500 万美元。Cursor、Lovable、Harvey、ElevenLabs 已列为 AIUC 的客户。

影响与建议

  • 对甲方企业:采购 AI 代理时除了评估性能,还应要求供应商提供第三方安全审计报告,了解代理的能力边界与已知风险点。
  • 对 AI 代理供应商:提前通过权威第三方认证,有望成为企业采购的加分项,尤其是在金融、医疗、zf 等强监督&管理行业。
  • 对投资人:AI 安全赛道正从概念走向产品化,审计认证层可能成为企业 AI 部署的"基础设施"类需求。

延伸阅读

 
内容管家

发表评论