
OpenAI 发布新工具打击儿童性虐待材料:图像分类器、ChatGPT 警示与执法支持
OpenAI 今天宣布了一系列新工具,用于应对 AI 工具使用中日益突出的儿童安全风险。整套方案包含四项内容:用于检测 CSAM 的新图像分类器、用于阻断与警示的提示页面和临时封禁机制、面向开发者的新指南,以及一套面向执法部门的工具集。
OpenAI 近期面临多起诉讼,指控其技术对用户造成伤害,其中尤以涉及未成年人的案件最受关注。专注于安全的非营利组织 Common Sense Media 曾将 OpenAI 的技术评价为对青少年而言“不可接受的风险”。与此同时,其他 AI 聊天机器人——尤其是 Grok——已被用于生成非自愿的性化影像,其中就包括针对儿童的此类内容。
过去 12 个月里,OpenAI 已经做出多项针对性调整:发布安全蓝图、更新内容政策以禁止不当内容、重新调校模型以阻止其生成有害内容,并推出面向青少年的 ChatGPT 特别版本。本轮发布是在这一既有路径上的延伸。
核心变化:四项新能力
1. 检测 CSAM 的新图像分类器
新的图像分类器可以识别 CSAM 图像,其中也包括 AI 生成的那部分。OpenAI 将通过 API 免费向部分公司开放该分类器。该工具会检查此前未见过图像中的视觉虐待特征,并给出评分,为审核人员处理 CSAM 提供方向性参考。
该分类器由 OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)共同开发,OpenAI 同时正与 Tech Coalition 和 ROOST 合作,推动访问权限的共享。在与合作伙伴的早期测试中,分类器在找到同等数量虐待图像的前提下,标记量减少了 48%,显著降低了审核人员的工作量;此外,被分类器标记的图像属于虐待图像的可能性是未标记图像的两倍。
1. ChatGPT 内的警示页面与 24 小时暂停
ChatGPT 将新增警示页面,防止用户访问对儿童进行性化的材料。当用户尝试提交此类请求时,ChatGPT 会给出提醒,把用户引导至专业支持以停止有害行为,并暂停账号 24 小时作为警告。该应用本身已经拦截 CSAM 内容及相关请求;OpenAI 表示,反复违规可能导致账号被永久删除。
2. 面向开发者的新指南
OpenAI 同步发布了面向使用其工具的开发者指南,帮助开发者预防、检测 CSAM 内容,并协助用户进行举报。OpenAI 称,在早期测试中,该指南已推动一批开发者采用儿童安全工具,并注册以向 NCMEC 报告 CSAM。
3. 面向执法部门的 AI 能力
OpenAI 正在为处理儿童安全事务的执法部门提供 AI 驱动的功能,包括专用插件、调查工具和复杂数据分析能力,访问权限由项目管理员统一管理;同时还为调查人员提供培训资料,以及一份关于如何使用 AI 的实务指南。
影响与建议
- 对内容审核团队:分类器的核心价值是“同等检出、更少标记”。建议先在自有审核流水线中小规模灰度,观察误标与漏检的实际比例,再决定接入范围,而不是直接依赖官方给出的 48% 指标。
- 对开发者:指南加上 NCMEC 报告通道属于可直接落地的合规动作,建议把“接入儿童安全工具、完成 NCMEC 注册”写入上线前的检查清单。
- 对产品与合规负责人:24 小时暂停属于流程性处罚,而非永久封禁,仍需设计清晰的违规升级路径与申诉机制,避免误伤正常内容。
- 对风险预期:Common Sense Media 的“不可接受风险”评级与针对 OpenAI 的诉讼,说明监督&管理与诉讼压力仍在上升。把未成年人保护能力做成可验证、可复现的产品指标,比单方面声明安全更有说服力。
- 对效果评估:警示类干预的实际效力需要独立评估。OpenAI 与 Protect Children、Lucy Faithfull 基金会以及塔斯马尼亚大学的 Joel Scanlan 共同制定了这些提示与指南,Scanlan 曾对一项威慑性提示的试验做过独立评估。


评论