斯坦福教授 AI 推理云平台 Gimlet Labs 获 8000 万美元融资
斯坦福大学兼职教授、连续创业者 Zain Asgar 创办的 AI 基础设施初创公司 Gimlet Labs 宣布完成 8000 万美元 B 轮融资，由 Menlo Ventures 领投。截至目前，该公司累计融资总额已达 9200 万美元。
解决 AI 推理瓶颈：跨硬件协同调度
Gimlet Labs 声称打造了业界首个且唯一的"多芯片推理云"（multi-silicon inference cloud）——一款可将 AI 工作负载同时调度至不同硬件平台运行的软件。该平台能够将单个 AI 应用的任务拆分，并行分配至传统 CPU、AI 专用 GPU 以及高内存系统上执行。
"我们基本上在所有可用的不同硬件上同时运行任务，" Asgar 接受 TechCrunch 采访时表示。
Menlo Ventures 投资人 Tim Tully 在博客中解释了为什么这种需求真实存在：一个 AI Agent 可能在内部串联多个步骤，每个步骤对硬件的需求各不相同——推理（inference）属于计算密集型，解码（decode）属于内存密集型，工具调用（tool calls）属于网络密集型。目前尚无单一芯片能同时满足所有需求。
硬件利用率仅 15%~30%，浪费数百亿美元
Asgar 指出了一个严峻的现实：当前已部署的硬件资源，AI 应用实际使用率仅有 15% 至 30%。麦肯锡预测，若数据中心的算力扩张趋势延续，到 2030 年相关投入将接近 7 万亿美元。
"换个角度思考：你正在浪费数千亿美元，因为大量资源处于闲置状态，" Asgar 说，"我们的目标是让 AI 工作负载的效率比现有水平提升 10 倍。" Gimlet Labs 宣称，在同等成本和功耗条件下，其平台可将 AI 推理速度提升 3 倍至 10 倍，甚至能将底层模型拆分后分布至不同架构运行，让每个模型组件使用最适合它的芯片。
目标客户：大型模型实验室与数据中心
Gimlet Labs 的产品以软件或 API（Gimlet Cloud）形式交付，但并非面向普通 AI 应用开发者，而是专注于头部模型实验室和大型数据中心。
目前该公司已与多家芯片厂商建立合作，包括 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix。产品于去年 10 月正式公开，宣称上线之初即达成八位数收入（至少 1000 万美元）。过去四个月里，客户规模扩大了一倍以上，涵盖一家大型模型制造商和一家超大规模云计算厂商，但 Asgar 拒绝透露具体名称。
团队方面，四位联合创始人均来自 Pixie——一家为 Kubernetes 提供开源可观测性工具的初创公司，2020 年被 New Relic 收购。公司现有员工约 30 人。
评论