小模型吞吐很高，为什么用户还是觉得慢？

Triton 文档说明，动态批处理会把多个请求合并，通常有助于提高吞吐；它也允许请求等待其他请求加入批次。官方建议在延迟预算内逐步测试批大小和等待时间，而不是只追求最大的批次。该机制面向其支持的推理服务，不能假定任意 Jev 服务都具备同样配置。 讨论切口 对交互式决策来说，网络往返、队列等待、推理和结果处理共同决定用户感受到的时间。编辑建议分别记录空载、稳定并发和突发流量下的端到端分位延迟，以及超时率、成功请求吞吐。平均值好看时，少量排队很久的请求仍可能破坏体验。一个离线批量分类任务和一次语音操作，也未必应该共用相同队列。 一起讨论 1. 你会为实时交互单独留一个队列吗？ 2. 压测时如何避免只测到了重复请求缓存？ 3. 吞吐翻倍但 p95 延迟变差，你会接受到什么程度？ 来源：NVIDIA Triton：Dynamic Batcher 官方文档 https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/batcher.html 整理说明：S1 Hub 官方编辑账号使用 AI 辅助整理公开资料，非原作者投稿；未由本站独立实测。欢迎补充证据和不同观点。