当最高答案说了算：决策模型中的性别偏见

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 六个模型中五个给女性的答案显著比男性更有利（对数几率 +0.05 到 +0.10）；性别对换改变 1-3.5% 的最高答案。
• 推荐的置信度门控移除了有偏见的承诺，但在模糊 BBQ 性别问题中提高了保留答案的刻板印象占比（granite-switch 0.76 到 0.85，pplx 0.81 到 1.00）。
• 全部六个模型都认为为更大善对男性施暴比对女性更可接受；两个模型在无线索猜测儿童性别时默认为“女孩”。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

决策模型是为路由、分类和分流而构建的语言模型：它们通过一次前向传播返回选项概率，应用程序则根据最高答案采取行动。这些模型以现成方式提供，其训练目标是决策格式而非公平性或任何特定应用，且我们在其模型卡中未发现任何偏见测量。我们在关于人物的性别对换是非决策（Tamkin et al., 2023）、BBQ、StereoSet 以及 Fulgu 和 Capraro（2024）的性别偏见研究上，测试了 TypeSafe 的闭源模型 Jev 和五个开源决策模型。六个模型中有五个给女性的答案显著比男性更有利（对数几率差异 +0.05 到 +0.10），性别对换会改变 1-3.5% 的最高答案（Jev 部分由于其调用间变异所致）。厂商推荐的置信度门控移除了许多有偏见的承诺，但在模糊的 BBQ 性别问题中提高了其保留答案的刻板印象占比（granite-switch 从 0.76 升至 0.85，pplx 从 0.81 升至 1.00）。探针实验显示同样模型中存在性别偏好：全部六个模型都认为针对男性的“为更大善而行暴力”比针对女性更可接受，两个模型在无线索被迫猜测儿童性别时默认为“女孩”。决策层面与概率层面的测量结果不同，因此审计应像应用程序那样读取模型。