OpenAI 首席科学家:以困惑度衡量 AI 发展速度

内容管家 AI领域评论0字数 1056阅读3分31秒阅读模式
OpenAI 首席科学家:以困惑度衡量 AI 发展速度

OpenAI 首席科学家 Jakub Pachocki 在最新博客文章中提出,要给 AI 的发展速度装上一把统一的"尺子",而这把尺子可能正是困惑度(perplexity)。这一思路把"AI 是否该减速"的老议题,从价值判断推进到了可量化、可共享的技术指标层面。

过去两年,"要不要给 AI 发展踩刹车"持续升温。此前一位先后供职于 OpenAI 和 Anthropic 的研究者公开表示,两家公司是在"拿我们的生命做赌注";Anthropic 的 IPO 招股文件中也写明,这项技术可能给社会带来"灾难性或存在主义风险"。

Anthropic CEO Dario Amodei 随后发布了一份"为前沿速度定节奏"的计划,呼吁各家公司共同遵守"通用安全标准,以及对 AI 无节制进展速度的限制",OpenAI CEO Sam Altman 与 SpaceX CEO Elon Musk 表面上都给予了支持。

但逻辑上有个绕不开的前提:要给速度设限,前提是先达成"如何衡量速度"的共识。此前衡量 AI 能力的各种基准测试(benchmark)大多聚焦于"下游能力",随着技术演进很快过时——而 Pachocki 认为,困惑度这一指标至今仍然"具有参考价值"。

核心变化:困惑度为什么可能成为通用基准

困惑度的定义很朴素:衡量一个模型"平均而言"预测下一个 token 的好坏,困惑度越低,说明预测越好。Pachocki 的文章中附有一张图表,呈现自 GPT-3.5 以来 OpenAI 各代模型困惑度的下降曲线。

他给出的关键论据是:

"GPT-4 的困惑度约为 0.91,它已经能够熟练地把思维链推理转化为实际产出,这促使我们随后有针对性地引导出这一能力,并造就了今天的现代推理模型。如今当我们把损失压到 0.8 以下,我们看到了网络安全、数学等领域变革性能力的涌现。"

顺着这个逻辑,困惑度可以成为"面向通用智能的共享基准",各家 AI 公司再以此为依据设定"共同上限"。核心机制是:以困惑度作为 AI 进展的标准度量,各家公司承诺在"我们理解并监控 AI 行为的能力达到某个具体里程碑"之前,不越过某条阈值线。 OpenAI CEO Sam Altman 评价这篇文章是"OpenAI 有一段时间以来发布的最重要的东西",并认为困惑度(注意与同名公司 Perplexity 区分)可以成为这个度量。

影响与建议

  • 对行业治理:如果这条路线推进,"AI 安全承诺"会从各家自定义的口号,转向一个可横向比较的数值门槛,类似核聚变领域的国际协议谈判——分歧仍在,但至少有了共同标尺。
  • 对模型研发:困惑度是损失函数的直接体现,天然指向"预训练效率"而非"后训练花样"。这意味着竞争焦点会部分回流到数据质量、训练算力配置这些更硬的基础设施层面。
  • 对信息消费与决策:需要提醒的是,困惑度下降与"能力趋近人类智能"之间并非一一对应——0.8 以下出现网络安全、数学领域的变革性能力是 Pachocki 的观察,但阈值具体划在哪里、跨模型是否可比,目前仍是开放问题。
  • 给从业者的务实建议:在官方共识落地前,可以先做两件小事——一是记录各模型的困惑度走势,把它当作长期跟踪指标而非一次性快照;二是关注 OpenAI 是否会在模型卡或发布说明中正式披露该指标,那是"共同基准"从论文走向行业惯例的关键信号。

延伸阅读

 
内容管家

发表评论