LLM eBay：一个用于微调 LLM 交易的简单且真实的交易市场

⚡ 一句话总结 AI 生成 · 以原文为准

关键结论

• 在两个基础模型、三个买方任务上的真实 LoRA 检查点实验中，LLM eBay 相比基于自我报告风格的检索将实测收敛步数减少 8.5%（95% CI [1.0%, 15.9%]）。
• 模型化仿真中，风格申报误差降低 96.5%（从 0.424 降至 0.015），恢复 96.3% 的 Oracle 福利。
• 节省 72.4% 从基础模型微调的成本，默认设置下所有提供方均保持盈利。

📄 摘要AI 生成 · 以原文为准中文翻译英文原文

对大语言模型（LLM）进行个性化微调可以提升用户体验，但会带来大量计算成本。近期研究表明，从一个风格相近的微调模型出发初始化训练可降低适配开销，使此类检查点成为可复用、可交易的资产。然而，此类检查点的交易市场面临信息不对称问题：卖方可能虚报检查点的风格，而买方在购买前无法验证其实用性，从而引发逆向选择。我们提出 LLM eBay，一个用于交易微调 LLM 的简单单轮交易市场。卖方按标价在每次被购买时获得报酬，平台通过在隐藏提示上生成文本来测量风格信号，并使用截断二次真值评分规则根据卖方风格报告与该信号的一致程度调整每次付款。我们证明该评分可引导出验证者的期望信号，精确刻画了在按次购买需求下真实报告何时是卖方的最优响应，并对有噪声验证带来的下行风险进行了界定。在一项使用真实 LoRA 检查点、覆盖两个基础模型和三个买方任务的端到端研究中，相对于基于自我报告风格的检索，LLM eBay 将实测收敛步数减少了 8.5%（95% CI [1.0%, 15.9%]）。在基于实测风格-成本关系构建的模型化市场仿真中，它将风格申报误差削减 96.5%（从 0.424 降至 0.015），恢复了 96.3% 的 Oracle 福利，节省了 72.4% 的从基础模型微调的成本，并在默认设置下保持所有提供方盈利。