Google AI Overview 最近又出洋相了——它居然答不上来 Google 这个词里有多少个字母 P。
TechCrunch 报道了这起翻车事件。Google 发言人向该媒体解释称："数单词里的字母一直是 LLM 已知的能力短板，我们正在修复这类问题。"
为什么大语言模型不懂拼写？
事情源于用户向 Google 搜索提问"Google 这个词里有多少个 P"，AI Overview 给出的答案是"2 个"——然而正确答案应该是 1 个 P，因为 G-o-o-g-l-e 里其实只有 1 个 P。
这已经不是 Google AI Overview 第一次闹笑话了。去年首次上线时，它曾引用《The Onion》和 Reddit 的讽刺帖子，建议人们吃石头、在披萨上抹胶水。本轮搜索改造以生成式 AI 为核心，类似的翻车似乎并不意外。
更深层的问题在于：LLM 根本不理解拼写。
研究人员早已指出，大语言模型并不能像人类一样"阅读"文本。多数 LLM 基于 Transformer 架构，会将输入文本分解为 token——这些 token 可能是完整单词、音节，甚至单个字母，具体取决于模型设计。模型把文本转换成数值表示，再通过上下文来生成回答。
阿尔伯塔大学 AI 研究员 Matthew Guzdial 助理教授向 TechCrunch 解释："LLM 基于 Transformer 架构，但实际上并不是在真正阅读文本。当你输入提示时，它会被翻译成一种编码。当模型看到'the'这个单词时，它有这个词的编码表示，但并不知道字母 T、H、E 分别是什么。" 由于 token 化架构的天然局限，研究人员对解决拼写问题并不乐观。
东北大学研究大语言模型可解释性的博士生 Sheridan Feucht 表示："很难定义什么叫'单词'对语言模型来说是什么。即使让人类专家就完美的 token 词汇达成共识，模型仍可能发现把内容进一步'分块'更有用。我的猜测是，由于这种模糊性，根本不存在完美的分词器。"
AI 不是万能的
对研究人员来说，拼写错误并非紧迫问题——LLM 的价值本来就不在于拼写。但这类低级失误恰好提醒我们：AI 并不完美，有时看似全知全能，实则充满缺陷。我们不能盲目信任 AI 输出，必须核查其准确性。
Google 已在上周修复了另一个问题：搜索"disregard"会错误地返回"好的，随时有新问题随时告诉我"，但拼写类错误仍然顽固存在。
评论