
10 月,Vercel 的 AI 模型路由上,超过四分之一的请求流向的不是大语言模型(LLM),而是“决策模型”(decision model)——而这类计算机化智能被发明出来,仅仅是一个月前的事。
决策模型本质上仍是 LLM,但它们不生成输出 token,而是被调教成用通用智能在预设选项之间快速、低成本地做出选择,并同时记录下对这次选择的置信度。
它们更适合生产环境:当“快速给出判断”比“更慢也更贵的前沿模型所带来的深度推理”更重要时,决策模型的价值就体现出来了。
TypeSafe 在发布 Jev 模型家族后成为一家市值 75 亿美元的公司,该系列至今仍主导使用量——至少在 OpenRouter 这类可观测服务上如此:仅上周,OpenRouter 就向 TypeSafe 的模型发出了超过 15 亿次查询。
核心变化:巨头与创业公司同时下场
- 门槛极低,供给迅速膨胀。 Jev 问世后,几十个决策模型接连发布。一名亚马逊工程师用一个周末就做出了一个,此后每家超大规模云厂商都拿到了自己的选项。
- 微软全面上量。 本周二,微软 CEO Satya Nadella 宣布其决策模型 Microsoft-Decision-1.1 即刻在 Azure 上广泛推出(正在推出)。
- 创业公司拿到融资。 英国 AI 创业公司 Sqwish(决策模型名为 kettei fat)今日宣布完成 300 万美元 pre-seed 轮融资。联合创始人 Ushnish Sengupta 与 Federica Freddi 在剑桥读研时相识,此前一直在做小体量 LLM;Jev 出现后,他们意识到自己的架构可以被改造为强大的决策模型。
生态的两端正在同时发生动作:一边是云厂商把能力推向规模化可用,一边是创业公司用差异化工具切入。
胜负手:数据与后训练,而不是跑分
数据似乎是这一品类成功的关键。TypeSafe CEO Diogo Almeida 对 TechCrunch 表示,构建 Jev 最难的部分,是用经过统计调整的合成数据,精细校准模型的判断力。
Sqwish 同样在使用合成数据,但其独特之处在于内置的后训练工具——直接用客户自己的数据来提升模型判断力:
“我认为让我们不沦为同质化产品的是这一点……客户可以持续上传自己的生产数据,和我们训练模型的方式一样,他们的模型也会在他们关心的那些任务上持续变好。”——Ushnish Sengupta
排名其实很难做。 kettei fat 在部分基准测试上表现不错,但多数从业者认为真正的检验在实战中:开发者把一个模型替换成另一个并不困难,在具体场景里跑一遍才知道效果。Sengupta 的说法很直接:基准更像是一份“来试用一下”的邀请,持续调优才是客户留下来的理由。
微软的 Microsoft-Decision-1.1 同样是在成本、延迟、智能、校准四个维度之间精心权衡的产物。主导该项目的工程副总裁 Achint Srivastava 认同过度关注基准是一种错误:
“我们看到,‘刷榜’型模型在真实企业使用中很快就会失灵。我们的测试凸显出,要在一个模型里同时兼顾准确、可靠性、速度与成本效率有多么困难。Microsoft-Decision-1.1 和 Jev 是少数能在四个维度上都表现强劲的模型,即使是在反映真实使用场景的‘留出’基准或未见基准上也是如此。”
影响与建议
- 选型维度:优先看成本、延迟、智能与校准这四项的平衡,而不是单看某个榜单名次。
- 验证方式:直接在自己的具体上下文里做“替换测试”,把现有模型换成决策模型跑真实流量,这比任何公开评测都更接近答案。
- 锁定路径:如果任务需要长期贴合专有数据,选择具备内置后训练、能持续吸收自有数据的方案更稳妥。
- 更长期的形态:Sqwish 认为,与超大规模云厂商和前沿实验室竞争反而是机会。Freddi 预测,未来系统将是所谓“系统一智能”(如决策模型)与“系统二智能”(如前沿 LLM)协同工作。即便在那个未来,“系统一”可能仍是一个 100 亿至 500 亿美元规模的市场,而 OpenAI 正带着 1 万亿、2 万亿美元市值的预期推进 IPO——“这是我们唯一关心的事;对他们而言,这只是一个附带项目。”


评论