面向工具结构化 LLM 推理的仅幅值 FFN 干预：方法、门控评估协议与跨模型实证结果
Amplitude-Only FFN Intervention for Tool-Structured LLM Inference: Method, Gated Evaluation Protocol, and Cross-Model Empirical Results
46 pages, 11 figures, 30 tables. Updated six-task results and RF refit; clarified steering terminology, intervention-site analysis, and experimental scope. Code and experimental data: https://doi.org/10.5281/zenodo.23654706
⚡ 一句话总结 AI 生成 · 以原文为准
关键结论
- 在冻结本地评分器下，Qwen3.5-9B 非 NS AG 配置使两个函数调用端点提升 +2.61/+2.67 pp，静态 ToolBench 域内/域外提升 +1.64/+2.82 pp。
- 将两次观测 AG 运行中较弱者与更强基线比较时增益依然成立，支持观测运行的稳健性而非总体显著性。
- 六任务随机森林重拟合使原生分数提升 +0.46 pp，条件配对区间为正；因果机制与部署成本需进一步评估。
📄 摘要AI 生成 · 以原文为准
我们研究仅对前馈网络（FFN）激活进行幅值缩放以修复工具调用及其他结构化输出，采用乘性坐标掩码而非加性引导向量。Amplitude Gating（AG）保持预训练权重不变，在六个 SwiGLU 位点施加基于幅值/熵的掩码，并含 Newton-Schulz 窗口排序变体。在三个 Qwen 检查点与六个文本/工具端点上，效果呈任务依赖性。在冻结本地评分器下，Qwen3.5-9B 非 NS 配置在两个函数调用端点上提升 +2.61/+2.67 个百分点（pp），静态 ToolBench 域内/域外提升 +1.64/+2.82 pp；JSON 提升较小。这些增益在将两次观测 AG 运行中较弱者与更强基线比较时仍然成立，支持观测运行的稳健性而非总体显著性。评分衡量的是词法或答案/动作名称一致性，而非工具执行成功率。在当前实验条件下，六任务随机森林重拟合使原生分数提升 +0.46 pp，条件配对区间为正；向其他设置的迁移需进一步评估。结果支持任务特定干预；因果机制、等预算优势、重复运行不确定性与部署成本需进一步评估。代码与实验数据：https://doi.org/10.5281/zenodo.23654706。
💬 讨论 0
发帖 →每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。