决策模型新场景:内容审核

内容管家 AI领域评论7字数 670阅读2分14秒阅读模式
决策模型新场景:内容审核

Musubi 近日发布了一款专为实时内容审核场景打造的轻量级决策模型 PolicyLM-1.7B,已以开放权重形式发布。该模型的核心思路是:将内容政策直接用英文写成规则,在 50 毫秒以内完成内容判定。

成本与速度对标现有方案,灵活度更胜一筹

PolicyLM-1.7B 在成本和响应速度上与传统 AI 分类器持平——后者正是目前大多数社交平台内容审核系统的底层技术。但区别在于,传统分类器需要针对每条内容政策重新训练,而 PolicyLM-1.7B 作为现代 LLM,在策略变更时无需重新训练,政策制定者可以随时迭代规则而无需工程团队介入。

Musubi 联合创始人兼首席 AI 官 Filip Jankovic 表示,这一能力让平台运营者可以对内容进行更主动的标注:

"产品团队迫切需要更好地了解平台上的内容状况,尤其当内容总量呈指数级增长时。能以高度可扩展、可定制的方式完成所有标注工作,价值极大。"

决策模型赛道升温,审核场景水到渠成

决策模型自今年 9 月 Typesafe AI 发布 Jev 后迅速成为 AI 领域热点,随后 OpenAI 和亚马逊也相继推出竞品。与大语言模型不同,决策模型输出的是结果概率而非文本——在 PolicyLM-1.7B 的场景下,输出结果为二元判断:内容要么符合某类政策,要么不符合。通过限制模型输出空间,决策模型得以在保持 Transformer 架构灵活性的同时,实现更快的运行速度和更低的成本。

一个早期落地方向是约束 AI 代理的不当行为——既如此,用同一技术来管控人类行为也就顺理成章。

值得注意的是,Jankovic 透露,自己对决策模型的关注早于 Jev,可追溯到 2024 年的 GLiNER 项目(Generalist Model for Named Entity Recognition,即通用命名实体识别模型),该项目采用了大量相同技术思路。Musubi 并不回避与 Jev 的比较——相反,公司乐于借助决策模型的热度让内容审核领域获得更多关注。官方公告直言:"如果 Jev 引起了你的注意,PolicyLM-1.7B 正是同类模型,专为内容审核训练,且可自行运行。"

延伸阅读

 
内容管家

发表评论