AI 落地新范式：模型不是终点，上下文才是
在 AI 落地这件事上，业界正经历一场观念转换。当模型能力已经不是主要瓶颈时，下一个竞争点在哪里？Google Agentic Data Cloud 负责人 Andi Gutmans 与 Stack Overflow 平台工程总监 Peter O'Connor 在 Stack Overflow 播客《Leaders of Code》中，围绕 AI Agent 规模化落地的核心矛盾展开了深入讨论。
模型已足够好：瓶颈已不在模型本身
Gutmans 指出，今天大多数自动化任务的模型能力其实已经足够。他并不否认模型会持续进化——DeepMind 和其他厂商的模型确实在不断变强。但他认为，真正的问题不是模型本身，而是整个系统。
这个系统包括四个要素：
- 模型（Model）
- 编排层（Harness）
- 上下文（Context）
- 个性化（Personalization）
在 Gutmans 看来，正确目标是：用最低成本的、最简化的模型完成手头任务。例如某些场景下 Gemini 3.5 Flash 这类轻量级模型就完全够用，成本极低；而另一些场景则需要 Gemini Pro。他预计，未来行业会更擅长判断何时该用哪个模型。
最小上下文：Token 不是越多越好
Gutmans 明确反对"Token 最大化"思路。他认为，正确的做法是只传递与任务相关的上下文，从而减少 Token 处理量。具体路径包括：
- 精准筛选上下文：只输入真正影响决策的信息，过滤冗余数据
- 提升模型轨迹准确性：减少推理循环次数，从而降低 Token 消耗
- 系统级协同优化：不是单独优化模型或数据，而是将两者作为整体来调优
Gutmans 将这一思路称为"系统化问题"——模型、上下文、编排层需要作为一个整体来设计，而不是各自为战。
Google 的差异化优势
Gutmans 提到，Google 是唯一同时具备自研模型能力和差异化数据平台的超大规模厂商。这让 Google 能够将 DeepMind 的模型开发与数据平台进行联合爬山式优化（Hill Climbing）——两者协同进化，而非割裂迭代。
这一协同优势，使 Google 在解决"最小上下文驱动目标达成"的问题上，拥有了独特的系统性基础。
上下文优化：为何"灌数据就能提升模型"是伪命题
"上下文工程"是当下 AI 落地最被低估的难题之一。这位 Google Cloud 高管指出，很多供应商声称"我拥有海量目录数据，持续丰富这些数据，模型效果自然会变好"——但这在逻辑上并不成立。
模型优化与知识库优化必须同步爬山式推进（hill climb together），而非一方先行、另一方跟随。要真正判断哪些上下文信息实际产生了效果，需要一套严密的评估体系（eval）。
更重要的是：你在为"代理"优化，而非为"人类"优化。大多数企业仍在用老思路——让人类构建精心策划的本体论（curated ontology），期望它能反哺代理。但理论与实践之间存在巨大鸿沟。
真正的 AI 优先路径，是以代理作为核心用户：如何确保代理获得正确的结果？这需要在评估侧投入大量工作，深入理解行为轨迹，并与 DeepMind 等模型厂商紧密协作——如果模型层面需要改动，就由模型层解决；其余的才由上下文层处理。
搜索能力：被忽视的第三大难题
上下文优化涉及多个维度，而搜索（search）是其中最被低估的一个。"如何判断哪条上下文真正重要"这个问题，大多数供应商避而不谈。
这位高管将搜索列为"至少前三名最难解决的问题"之一。目前没有任何供应商敢声称已彻底解决，Google Cloud 也没有——但他认为已走在正确的路上。
成本维度：代理规模化彻底改变了游戏规则
成本不是某一类客户的专属焦虑，而是全行业议题。
传统人类操作模式下，员工每天点击按钮的次数有上限，业务负载与成本可预测。但进入代理规模化时代，局面完全不同：
- 每个员工可能拥有 50～100 个代理为其工作
- 一个企业内可能运行数百万个代理
- 代理 7×24 小时运转、响应速度远超人类
若缺乏有效治理，企业极易陷入成本螺旋。成本管控因此必须覆盖三个层面：模型层、测试框架层（harness），以及代理调用的工具与数据平台层。唯有这三者协同优化，才能实现成本的非线性下降。
投资回报困局：企业说不清楚 AI 花出去的钱值不值
在 B2B SaaS 场景中，ROI 量化始终是难题。AI 背负着额外的舆论压力：它看起来比许多工具贵得多，即便实际产生了价值。
对话中提到了一个耐人寻味的观察：很多企业虽然同时运行着 JIRA、Confluence 等工具，但被问及"这些产品的 ROI 如何证明"时，往往无法给出清晰答案。AI 尚未获得"为价值买单"的社会宽容度，这让 ROI 证明变得更加紧迫。
客户正在用 AI 交出真金白银的答卷
几位受访者都提到了一个核心观点：企业部署 AI 并不是在追概念，而是在追实实在在的投资回报。Deutsche Telekom 已经在用 AI 实现网络自主运营——更主动地管理网络、进行预测性维护。这类案例说明，当企业真正想清楚 AI 要解决什么问题时，收益是可见的。
有嘉宾指出，现在很多客户不再把 AI 当成额外的成本中心，而是用它来扩大产出、提升收入，或者在某些场景下显著降低成本。例如在 SRE（站点可靠性工程）领域，团队借助 AI 提升了客户满意度和运营效率。"token 刷满"这种思路行不通——关键不是用了多少 token，而是是否相比之前实现了差异化的成果，并拿到了相应的 ROI。
从数月到两天：AI 如何压缩试错成本
一位曾多年未写生产代码的嘉宾分享了自己的经历。过去，如果团队想验证一个想法，通常要抽调一名工程师用三到四个月搭原型。而这次，他仅用一个周末就做出了 demo，直接向团队演示"这件事是可行的"。
这背后的意义不只是速度快：提前把设计风险暴露出来，避免团队在错误的路径上走六个月才发现问题。AI 大幅降低了试错成本，企业可以更频繁地做小规模实验，而不是等大爆炸式投入之后才得到反馈。
平台团队的新命题：为 AI Agent 构建基础设施
有嘉宾提出，平台团队应该把"AI Agent"当作一种新的服务对象来对待——就像过去服务业务用户、数据科学家和数据工程师一样。具体需要关注几个维度：
- 安全与治理：Agent 行为需要被约束和审计
- 成本管控：运营者和 Orchestrator 需要理解并控制 AI 调用成本
- 可观测性：生产环境中的 Agent 执行需要完整的追踪和监控
- 可用性与规模化：基础设施必须能随 Agent 规模弹性扩展
现场还举了一个内部故事：YouTube 最初跑在 MySQL 上，随着规模增长迁移到 Vitess，最终 Google 内部构建了 Spanner——其核心理念是"把数据管理的所有权从开发者转移到系统本身"。这个思路同样适用于 AI Agent 时代：让基础设施承担复杂性，而不是让 Agent 的运营者来操心。
几位嘉宾最后达成了一个共识：AI 正在消除技术世界的"门阀"。过去只有工程师能参与的工作，现在每个人都可以参与——这既是平台团队的新机遇，也是整个行业的大趋势。
角色融合：业务人员也能驱动 AI 代理
"界限正在模糊，"受访者指出，这与 Web 开发中 PHP 推动非开发者构建应用的路径如出一辙。当数据科学、数据工程体验走向 Agent 化时，一线业务人员无需理解数据清洗、模型训练、模型部署的完整链路，也能直接上手使用。"关键在于意图驱动的成果——只要明确目标和预期结果，配置好进度管控机制，就能让比以往多得多的角色参与进来。" 他进一步强调，目标始终是"正确的想法产生正确的业务成果"，想法的来源本身并不重要。"当我们确实需要工程师时，是因为他们能更好地完成编排——你说一声，剩下的交给我们。"
开发平台团队要不要引入数据工程师？
被问及内部开发者平台团队是否应纳入数据工程师或数据科学家时，受访者明确表示"值得考虑"，但数量不必多。其核心逻辑是：
- 数据工程不可或缺：确保高质量数据进入正确位置，完成治理并可被分析和 AI 激活。
- 数据科学仍是刚需：虽然大模型炙手可热，但欺诈检测、需求预测等大量业务问题仍然高度依赖传统机器学习。
- 工具放大人的判断力：Agent 体验固然可以让业务用户绕过专家独立成功，但核心问题在于——组织是否仍保有判断"正确路径"的专家，能在 Agent 跑偏时及时纠偏。"成功的项目放一个数据科学或机器学习工程师进去，就像加了汽油一样。"
受访者的建议是：可以招聘，但要带着明确意图去投入。
给在校生和初级开发者的三条建议
访谈最后，受访者分享了他对年轻开发者的忠告，认为有三个维度缺一不可：
- 计算机科学基础依然关键。近年来硬件领域重新受到关注，似乎 pendulum 有所回摆。无论数学、系统架构还是算法基础，都直接影响代码背后的判断力。"计算机科学不只是写代码，而是理解技术如何构建系统。"
- 深度掌握 Agent 化编码能力。这是未来核心竞争力——能够驱动 AI 代理完成任务、达成目标。雇主越来越看重能带来"10 倍影响力"的人才。
- 理解业务问题。随着 Agent 可以代替个人完成大量工作，对业务的理解变得比以往任何时候都更重要。"一个 CS 学生去读 MBA 的思路，现在反而更有价值了——你有能力借助 Agent 真正影响业务。"对业务问题的深度兴趣，配合 AI 放大个人产能的工具，将成为显著优势。
播客尾声｜联系方式与下期预告
嘉宾联系方式
Peter O'Connor（Stack Overflow 平台工程总监）：在 LinkedIn 搜索 "Peter O'Connor" 即可找到本人，排在搜索结果首位。
Andi Gutmans（Google Agentic Data Cloud 副总裁）：LinkedIn 同样是最佳联系渠道，搜索 "Andi Gutmans"（注意拼写中的 I）即可。
主持人联系方式
主持人 Eira May（E-I-R-A M-A-Y）同样活跃于 LinkedIn。若对本期节目有任何问题或反馈，或有想听的选题、想邀请的嘉宾建议，欢迎通过邮件联系：[email protected]。
评论