论文 / arXiv:2610.39216
系统与工程单次前向 / prefill 读出
PDScope：打破内存受限 MoE 推理中预填充与解码的跷跷板效应
PDScope: Breaking the Prefill-Decode Seesaw for Memory-Bound MoE Inference
Enda Yu, Dezun Dong, Zhaoning Zhang, Xiaojian Yang, Weiling Yang, Shaonan Ma, Dongsheng Li, Yongwei Wu +1·2026-10-29·cs.DC相关度 5.5
accepted by PPoPP'27
⚡ 一句话总结 AI 生成 · 以原文为准
PDScope 解耦预填充与解码，实现 2.5-10.3 倍预填充和 2.1-6.1 倍解码吞吐量提升。
关键结论
- 在主流 MoE 模型上，预填充吞吐量比现有系统高 2.5-10.3 倍。
- 解码吞吐量比现有系统高 2.1-6.1 倍。
- 通过静态计算图、缓存预取和零拷贝异步 I/O 将调度决策编译为无开销的流水线。
📄 摘要AI 生成 · 以原文为准
出于成本和隐私原因，在 CPU-GPU 节点上本地部署基于 MoE 的 LLM 很有吸引力，但有限的 GPU 显存迫使大多数专家被放置在 CPU 内存中。此时预填充（prefill）是计算受限的，可从激进的 GPU 加载中受益；而解码（decode）是 I/O 受限的，需要保守的 PCIe 传输。这些需求在低批处理量下（本地助手和文档工具的典型场景）无法摊销，迫使与阶段无关的调度器陷入跷跷板困境：偏向预填充的激进加载会注入无法掩盖的 I/O，使解码停顿；而偏向解码的保守传输则使预填充的 GPU 无事可做。我们观察到专家路由在不同阶段具有可预测的特定模式，因此可以将两个阶段解耦，并针对每个阶段独立优化预测、调度和执行。PDScope 预测专家激活以指导放置和预取，通过跨层成本建模使这些策略适应各阶段的瓶颈，并利用静态计算图、缓存预取和零拷贝异步 I/O 将决策编译为无开销的流水线。在主流 MoE 模型上，PDScope 的预填充吞吐量比现有系统高 2.5-10.3 倍，解码吞吐量高 2.1-6.1 倍，表明阶段感知的协同设计可在内存约束下实现高效的 MoE 推理，并可自然扩展到多批处理场景。
💬 讨论 0
发帖 →还没有讨论，来发起第一个吧。
每日同步自 decision.host · 译文与总结由 AI 生成，每条都附原文链接。