预测答案引擎引用什么：受控检索下十个引擎上的开放决策模型、重排序器与蒸馏4B学生模型
Predicting What Answer Engines Cite: Open Decision Models, Rerankers and a Distilled 4B Student on Ten Engines under Controlled Retrieval
12 pages, 1 figure, 4 tables. Model: https://huggingface.co/citead/geo-citation-ranker-4b ; benchmark and code: https://huggingface.co/datasets/citead/geo-citation-benchmark
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- Jev 和两个开放 27B 决策模型无需训练即为最强评分器，达到 0.575 至 0.578。
- GEO Citation Ranker 4B（用低秩适配器微调的 Qwen3-Reranker-4B）在三个种子下达到 0.542 至 0.549，在 229 个查询上与 27B 模型和 Jev 无显著差异。
- 十个引擎回答同一查询时，组内 Spearman 相关为 0.704。
📄 摘要AI 生成 · 以原文为准
生成式引擎优化需要一个评分器，按候选页面将获得的引用份额对其进行排名。我们在 GEO-Bench 查询上测量了预训练重排序器、一个托管的类型化决策模型（Jev）、八个开放决策模型以及蒸馏学生模型，查询由十个引擎回答，所有引擎在其提示中接收相同的候选来源。当多个引擎回答同一查询时，它们彼此之间的一致性为组内 Spearman 相关 0.704。Jev 和两个开源 27B 决策模型在无需训练的情况下是最强的评分器，达到 0.575 至 0.578。一个在其他 GEO-Bench 查询的教师标签上用低秩适配器微调的 Qwen3-Reranker-4B，以 GEO Citation Ranker 4B 发布，在三个随机种子下达到 0.542 至 0.549，其与 27B 模型及 Jev 的差异在 229 个查询上与零无法区分。当 Jev 像学生模型一样一次对一个段落打分时，学生模型与 Jev 之间剩余差距的大部分消失。在教师标签和观测到的引擎引用上训练的学生模型达到相同水平，而仅来自 Jev 的标签在 0.6B 时与双教师目标相匹配。我们发布了模型、基准、每个报告评分器的预测以及代码。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。