面向高效LLM任务路由的学生引导教师蒸馏：与Jev式System-1分类器的对比定位

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 最佳学生检查点在200个样本评估集上达到77.5%的教师一致率。
• 初步测量显示top-k候选集的Coverage@16为91-100%。
• 将截断top-k教师分数中未截断的类归零会摧毁暗知识，使KL蒸馏产生系统性偏差。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

零样本分类器可用于将用户请求路由到专门的LLM任务，但对大型候选集逐一打分的成本很高：零样本NLI分类器必须为每个标签评估一个前提-假设对，因此成本随分类体系规模线性增长。我们研究了一个面向60个LLM任务类别固定分类体系的学生引导教师蒸馏流水线：一个紧凑的ModernBERT分类器通过一次前向传播预测完整类别分布并检索一个较小的top-k候选集，而更大的DeBERTa-v3零样本NLI分类器仅对这些候选（而非全部60个标签）重排序；由此得到的教师标签迭代地改进学生模型，学生又为下一轮产生更精准的候选。与极端多标签分类中使用的通用嵌入检索或聚类派生的候选列表不同，我们的候选生成器在目标分类体系上端到端训练，且与生产流量服务的是同一个模型，这使其区别于在候选模型之间路由的LLM路由工作，也区别于并发的System-1编码器分类器方案（如TypeSafe AI的Jev和开源Laya项目），后者的训练方法未公开或基于RL。我们最佳的学生检查点在200个样本的评估集上达到77.5%的教师一致率，初步覆盖测量显示Coverage@16为91-100%，表明top-k集合保留了教师大部分决策相关信息。我们进一步表明，截断的top-k教师分数不应被当作完整的60类软目标用于KL蒸馏：将未截断的类归零会摧毁软标签蒸馏所依赖的暗知识，引入系统性偏差而非无害的稀疏近似。完整评估——包括在保留集上多个k值的覆盖率、嵌入检索基线以及更大的人工审核测试集——仍在进行中。