微软将 AI 代理比作内部威胁,称前沿模型不可信

内容管家 AI领域评论10字数 1154阅读3分50秒阅读模式
微软将 AI 代理比作内部威胁,称前沿模型不可信

微软发布企业级 AI 代理安全产品,CEO 纳德拉:模型即"内部威胁"

微软周一发布了面向企业的 AI 代理安全新品,其中最受关注的是 Guardian Agents(守护代理),隶属于今年 6 月推出的 Project Perception 产品线。微软 CEO 纳德拉本月早些时候已在个人博客中发出警告:AI 代理正在成为企业内部的"insider threat"(内部威胁),与心怀不轨的员工无异——而 Frontier model 提供商的安全承诺并不能免除企业自身的责任。

微软为什么现在推出 Guardian Agents

Project Perception 最初的设计假设是 AI 代理的威胁来自外部。为此微软部署了三类代理:

  • 红队(Red Team):模拟攻击者发起攻击
  • 蓝队(Blue Team):发现红队行为并评估漏洞
  • 绿队(Green Team):负责修复漏洞

然而,纳德拉的观点发生了根本性转变——真正的威胁可能来自企业自身已经部署的 AI 代理。他在博客中写道:"我们部署了这些复杂的代理系统,赋予它们访问最敏感数据的权限,并让它们能够代表我们执行关键任务。我们不能将智能体的行为责任外包出去,模型提供商的保证并不能免除我们的责任。换句话说:需要将智能的供应与对它的控制权分离。" 微软安全业务负责人 Hayete Gallot 的表述更为直接:"不幸的是,无论来源如何,Frontier model 都无法被信任。"她补充说,这并非因为模型本身是恶意的或容易被入侵,而是因为它们的行为不可预测——模型被训练的目标是完成任务,而非遵守组织规范或判断标准。更何况,这些代理通常拥有"通往王国的钥匙",即访问可能导致严重损害的数据和工具。

新功能具体能做什么

微软选择在这一时点推出安全产品,既出人意料,又符合商业逻辑。

出人意料的一面:微软与 OpenAI 和 Anthropic 关系密切——既向两者投资,OpenAI 还是其最大的云客户之一;同时微软自身也有 AI 实验室在开发模型。此举相当于在部分合作伙伴身上"播种不信任"。

符合商业逻辑的一面:微软希望企业从云服务提供商(而非 AI 实验室)购买代理安全产品。监督代理行为的软件应当独立于代理供应商——正如审计机构需要独立于被审计组织。

具体功能方面:

  • Guardian Agents:监控企业使用的 AI 代理行为,属于 Project Perception 产品更新
  • Microsoft Defender 代理检测功能:可识别员工带入工作场景的最多 60 类代理,包括 Claude Code、Codex 和 OpenClaw
  • 数据与系统访问限制:限制代理的数据获取范围,并根据任务动态调整权限
  • 人工审批机制:当代理表现出高风险决策迹象时,要求人工确认

行业共识正在形成

微软并非唯一推动这一理念的玩家。微软加入了 Nvidia 新推出的 Open Agent Safety Platform(开放代理安全平台),该平台已获得超过 100 家科技公司的支持。平台通过硬件层面将代理隔离在安全环境中运行,并可监控和停止异常行为——类似一种硬件级的"kill switch"(终止开关)。

此外,微软此前还发布了面向代理场景的 Surface Laptop Ultra PC,搭载 Nvidia 芯片,在硬件层面内置了代理安全与控制能力。

影响与建议

维度 内容
核心变化 AI 代理从"工具"重新定义为"内部威胁",安全模型从"防外"转向"内外兼防"
目标人群 已大规模部署 AI 代理的企业安全负责人 / IT 决策者
选型建议 优先选择独立于 AI 模型供应商的第三方安全监控方案,确保"智能供应"与"权限控制"分离
落地步骤 1. 清点现有代理资产(如 Claude Code、OpenClaw 等);2. 在 Defender 或等价产品中启用代理检测;3. 配置动态权限策略和高风险行为人工审批流程

延伸阅读

 
内容管家

发表评论