超八成开发者使用 AI 负责任采用需工作流设计

内容管家 AI领域评论0字数 3321阅读11分4秒阅读模式

影子 AI 的根源:批准路径为何失速

发布一条政策,然后期待行为自然跟上——这是滋生影子 AI 最快的路径。开发者在交付压力下工作,面对模糊不清的规则时,会伸手去拿能让自己推进进度的工具。当审批流程显得缓慢、模糊、甚至与实际工程工作脱节,人们就会为自己创造一条更快的路。

这条张力位于负责任 AI 采用的核心位置。在 Stack Overflow 播客中,Ryan Donovan 与微软 Sarah Bird 的对谈里,责任感聚焦于影响、责任归属,以及深思熟虑的人机协作流程设计。Stack Overflow 的开发者 AI 采用与信任调查发现揭示了为何这一运营视角至关重要:84% 的受访者正在使用或计划使用 AI 工具,然而不信任 AI 准确性的开发者数量,超过了信任它的人数。最主要的挫败感来自那些"看起来差不多对"、却需要额外调试的输出。

组织无法靠一份员工只读一次的文件来解决这个差距。他们需要让负责任的使用比随意发挥更容易。

影子 AI 本质上是一条工作流信号

领导者通常将未经批准的 AI 使用描述为合规问题。这个诊断来得太晚了。当工程师把敏感内容粘贴到公共模型中,或悄悄安装一个未获审批的编码助手时,组织其实早在那一刻之前就已经失败了——它没能提供一条可信的路径来完成任务。

微软 Work Trend Index 发现了大量通过自带工具(BYOT)实现的影子 AI,许多用户不愿承认自己将 AI 用于重要任务。这种行为并不自动意味着鲁莽。它往往反映的是一种务实计算:审批流程提供的价值,低于那条未经审批的捷径。

正确的应对始于好奇心。有哪些任务驱动开发者转向外部工具?审批选项被什么阻力挡住了?团队需要哪些数据、上下文、集成能力或权限?Stack Overflow 上一场关于监控网关和审批 AI 平台的讨论表明,通过支持可见性的基础设施来疏导实验,比用全面禁令去压制它更有价值。

当领导者将每一种未经批准的使用视为不当行为时,开发者会学会隐藏实验。当领导者将其视为诊断证据时,他们就能改进整个系统。

政策必须成为工程接口

好政策定义的是意图。好运营则将那个意图转化为开发者在日常工作中可以做的决策。

NIST 框架将AI 风险管理组织为四个功能:Govern(治理)、Map(映射)、Measure(测量)、Manage(管理)。这些动词意味着持续性的工作。治理应该告诉团队如何对用例进行分类、可以使用哪些模型和数据源、如何测试结果、谁拥有审批权,以及开发记录中应包含什么证据。

一份可操作的政策应当能回答以下问题,而无需强迫工程师专门安排会议去咨询委员会:

  • 每款审批通过的工具允许哪些数据进入?
  • 工具可以访问哪些仓库或系统?
  • AI 生成的代码需要何种级别的审核&查验?
  • 哪些任务必须由人类决策者拍板?
  • 开发者在发现有害、不安全或不可靠的输出后应该做什么?
  • 一项实验何时变成生产系统?

根据 Stack Overflow 的技术采用调查发现,开发者将安全和隐私顾虑列为拒绝一项技术的首要原因。因此清晰的操作规则实际上是支持采用而非阻碍采用——它们减少了对"负责任的使用长什么样"的不确定性。

把护栏放在工作实际发生的地方

存储在学习门户里的政策,与嵌入 IDE 的 AI 助手竞争时毫无优势。控制措施需要存在于代码仓库、Pull Request、构建流水线、访问系统和部署工作流中。

NIST 的安全 AI 开发指南将安全软件实践扩展到了开发生命周期全程。同样的原则应当用于管理企业 AI 使用。团队可以将审批过的模型配置放入版本控制、按角色限制访问、扫描提示词和输出中的敏感信息、为高风险用例保留日志,以及在 AI 生成的变更合并前要求测试。

GitHub 关于 AI 生成代码的人工审核&查验 的指南推荐了功能检查、上下文验证、依赖项审核&查验、协作审核&查验以及在适当情况下的自动化。这将"审核&查验 AI 输出"这个抽象指令转化为可重复的工程流程。

控制措施还须匹配 AI 特有的失效模式。生成式 AI 应用的 OWASP 风险包括提示词注入、敏感信息泄露、供应链弱点、输出处理不当以及过度授权。用 AI 工具来解释代码的团队,与给代理开放生产系统写权限的团队,面临的风险画像截然不同。用相同的审批负担来对待两者,只会造成延迟而不会提升安全性。

分配所有权要在工具行动之前

当人们把 AI 描述为协作者、助手或代理时,责任归属就变得模糊了。这些词汇听起来有用,但软件无法承担组织责任。

每个用例都需要一名具名的负责人——这个人理解预期结果,并且有足够的权限来停止或改变流程。这个人不需要检查每一个生成的 token。负责人必须定义可接受的性能指标、确定人类判断介入的节点,以及确保当系统出问题时有人响应。

责任划分:谁为 AI 系统买单

NIST《生成式 AI 可信部署框架》强调,风险管理应贯穿 AI 系统的设计、开发、使用与评估全生命周期。与之对应,所有权(ownership)也应沿此链路分配:产品负责人承担商业决策工程负责人承担实现质量安全与隐私专家定义控制措施开发者为提交的代码负责评审者为批准决策负责运维人员承担生产监控与事件响应

Robotic arms pour liquid onto a distressed person dissolving at a computer, beside a calm person typing at another computer.

这种分工避免了一种常见失败模式:人人都在接触 AI 系统,但没有人真正为后果负责。

心理安全:风险管控的前提

如果团队不敢上报风险,风险就无从管理。当开发者发现已批准的工具有上下文泄露、虚构依赖项或诱导不安全代码等问题时,需要一条可信的路径来提出关切,而不被视为"阻碍创新"。

Google 的 Project Aristotle 研究将心理安全列为高效团队最重要的动态特征——即一种让人敢于承担人际风险、提出问题、暴露错误的氛围。这种氛围对 AI 尤为关键,因为许多故障最初表现为微弱信号:一次异常的补全、一个可疑的依赖包、一条未记录的数据路径,或一条看似合理却与领域知识相悖的结果。

DORA 研究同样表明,心理上安全的软件交付文化与更强的性能和韧性正相关。但若领导者只庆祝 AI 采用率数字,却惩罚质疑工具的人,这种优势便会被侵蚀。

管理者应向团队询问:哪里出了问题、工作流中哪个环节鼓励了错误、下次什么样的防护措施会有帮助。应避免问"为什么这位开发人员信任了 AI"——这种问法将系统性故障个人化,并教会所有人保持沉默。

针对性培训:面向真实决策场景

泛泛的 AI 认知讲座距离开发者在压力下做出的真实选择太远。Stack Overflow 的开发者信任分析将有效使用 AI 定义为一项技能,涵盖:结构化提示词、评估输出、将生成的代码集成到现有系统。

企业团队的有效 AI 培训应类似一张"运营许可证",涵盖:已批准的工具、允许使用的数据、常见失败模式、评审期望、升级路径,以及来自本组织技术环境的真实案例。后端工程师需要练习检查生成的数据库迁移、认证逻辑和依赖选择;数据工程师需要练习保护敏感记录和验证数据转换;工程经理需要知道何时需要对试点项目进行安全、法务或架构评审;平台团队需要知道如何观察 Agent 行为并约束权限。

Stack Overflow《2025 开发者调查》显示,开发者通过多种资源主动建立 AI 技能,包括使用 AI 本身。组织应利用这种内在动力:提供沙箱化练习、有缺陷的输出供评审、可复用的 prompt 示例、可复用的内部模式。

培训应产生融入工作流的工件:仓库指令、评审清单、可复用测试套件、经批准的 prompt 模式、记录在案的案例。证书只能证明出席,这些工件才能真正塑造行为。

以结果衡量,而非工具活动

领导者常通过发放许可证数量、提交提示词数、周活跃用户数来衡量 AI 采用率。这些指标反映的是活动量,而非工程价值或负责任的使用。

2024 年 DORA 研究发现,较高的 AI 采用率与文档质量、代码质量、评审速度的改善相关,但同时也发现了对软件交付绩效可能存在的负面影响。这一混合效应支持更严谨的衡量方式。

团队应在引入 AI 前和引入后分别评估一个定义明确的工作流。有效的衡量指标包括:周期时间、逃逸缺陷率、回滚率、安全发现、评审负担、文档质量、事件数量、开发者满意度,以及用于纠正 AI 输出的时间。具体指标取决于任务类型和风险等级。

Stack Overflow 调查还发现,Agent 提升了个人生产力,但未提升团队协作。这一点值得重视:工程师可能在本地任务上完成得更快,却将验证、集成或维护工作转嫁给了同事。负责任的衡量应沿工作流追踪到团队层面,而非止步于第一层表面收益。

让安全路径成为快速路径

当 AI 能帮助开发者解决真实问题时,他们会去使用。治理的目标就是让这种使用变得可见、可测试、可支持。

组织应为开发者提供带有有用上下文、便捷访问、清晰边界和快速升级通道的已批准工具;应在仓库和自动化检查中编码面向人和 Agent 的工作流设计;应在数据敏感性、自主性、影响范围和可逆性增加时加强评审;应保护报告故障的人;应衡量团队结果而非统计点击量。

工具厂商也在自己的指南中表达了同样观点。GitHub 提示用户将 Copilot 视为工具而非替代品,并要求审核&查验和验证生成的内容。CISA 的安全设计原则同样呼吁组织将责任内建于产品设计之中,而非将全部负担转移给最终用户。

Responsible AI 的落地效果,很大程度上不取决于组织是否出台了相关政策,而在于日常工作体系是否让负责任的行为变得切实可行。

设计「合规快车道」

想让 AI 在工作中持续发挥作用,领导者应为开发者设计一条「合规快车道」——既能保持快速迭代,又不牺牲判断力、问责机制和工程纪律。具体而言,就是将合规流程嵌入开发节奏,而非堆砌在流程末端。

领导者的核心职责

推动 AI 落地不是下达政策文件,而是持续优化工作系统本身。只有当日常协作方式天然支持负责任的行为,AI 采用才具备持久性。

延伸阅读

 
内容管家

发表评论