研究揭示前缀缓存服务持续退化机制

Wen Huang和Jack Liu发现，数分钟额外请求可使启用前缀缓存的vLLM智能体服务长期陷入退化：缓存命中率降至约10%、吞吐量减半，积压在随后70分钟持续增长；12组对照中有9组出现该现象，反向情况未出现。 研究称，该现象也出现在采用Qwen3-32B、SWE-bench智能体轨迹及SGLang的实验中，关闭前缀缓存后未出现。CPU卸载只能延缓退化；限制活跃会话常驻KV需求不超过缓存池容量的方案，在研究者测试的每次运行中均阻止了故障。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。