arXiv 分布式计算论文摘要· Wen Huang, Jack Liu·· 8 小时前
短时突发消退后，前缀缓存智能体服务仍会持续退化
Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving
内容摘要
Wen Huang 和 Jack Liu 发现，数分钟的额外请求可使 vLLM 智能体服务持续退化，缓存命中率降至约10%、吞吐量减半，积压在其余70分钟内继续增长。
来源：arXiv 分布式计算论文摘要 · arxiv.org