论文 / arXiv:2610.39621
系统与工程单次前向 / prefill 读出
上下文的真实成本：预测 LLM 预填充与解码阶段的计算时间与能耗
The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases
Lars Krupp, Daniel Geißler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus·2026-10-29·cs.AI相关度 5.5
⚡ 一句话总结 AI 生成 · 以原文为准
解码阶段能耗随输出长度线性增长，预填充阶段随输入长度线性与二次增长，计算时间可作能耗可靠代理。
关键结论
- 解码的计算时间与能耗随输出长度线性增长。
- 预填充的计算时间与能耗随输入长度呈现线性与二次两种增长规律。
- 在无法直接测量能耗时，计算时间可作为能耗的可靠代理指标。
📄 摘要AI 生成 · 以原文为准
大语言模型（LLM）集成到智能体架构中已大幅增加 token 消耗，引发了对其能源足迹的担忧。然而，估算基于专有 API 的模型的能耗仍然具有挑战性，且现有方法主要关注生成的输出 token，而忽视了智能体工作流所特有的大型输入上下文的影响。为弥补这一空白，我们系统地剖析了多种预填充（输入）和解码（输出）token 长度下的计算时间与能耗。利用广义线性模型，我们表明解码的计算时间与能耗随输出长度线性增长，而预填充的计算时间与能耗随输入长度呈现线性与二次两种增长规律。这些发现表明，输入上下文对大上下文工作负载而言是一个相关因素。此外，我们还表明，在无法直接测量能耗时，计算时间可作为能耗的可靠代理指标。我们的映射框架能够实现精确的能耗估算，并为智能体 AI 的可持续部署决策提供支持。
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。