Nemotron 3.5 Content Safety Moderator：一个紧凑的多模态、多语言且支持推理的内容安全审核器

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• Nemotron 3.5 CS 是一个紧凑的 4B 视觉-语言审核器，可联合分类 12 种语言的用户提示、图像和助手回复。
• 它返回安全标签以支持低延迟审核，并可选择性地生成简明推理轨迹，应用自定义政策并识别被违反的类别。
• 作者发布了一个多模态、多语言安全数据集，涵盖人工标注的真实图像审核、良性视觉-语言与文档任务、合成罕见风险与越狱案例及自定义政策示例。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

已部署 AI 应用的安全审核正超越纯文本提示：系统日益需要在跨领域各异的政策下判断图像、文档、截图和生成的回复。现有护栏通常只覆盖该场景的一部分，难以兼顾广泛覆盖、自定义政策控制与低计算成本。我们提出 Nemotron 3.5 Content Safety Moderator（为简洁起见，本文亦简称 Nemotron 3.5 CS），这是一个紧凑的 4B 视觉-语言安全审核器，可联合分类 12 种语言的用户提示、图像和助手回复。Nemotron 3.5 CS 返回安全标签以支持低延迟审核，并可在需要推理时额外生成简明的推理轨迹，以应用所提供的自定义政策并识别被违反的类别。我们还发布了一个用于护栏训练的多模态、多语言安全数据集，涵盖人工标注的真实图像审核、良性视觉-语言与文档任务、合成罕见风险与越狱案例，以及自定义政策示例。在涵盖多模态安全、文本审核、多语言鲁棒性、自定义政策遵循、良性误报和延迟的评估中，Nemotron 3.5 CS 展示了实用的覆盖权衡：它增加了图像条件与政策条件审核，同时在整体上与专门的护栏模型保持竞争力。这些结果表明，紧凑的视觉-语言审核器可作为可部署的一线安全组件，推理可选择性用于审计与政策审查。