arXiv 分布式计算论文摘要· Haoran Qiu, Rohan Mahapatra, Rodrigo Fonseca, Mark Russinovich·· 8 小时前
SHADOWPREFILL：为智能体 LLM 服务的逐步模型路由预热下一模型
SHADOWPREFILL: Keeping Your Next Model Warm for Per-Step Model Routing in Agentic LLM Serving
内容摘要
SHADOWPREFILL 利用正常流量的闲置容量，为路由器未选中的模型预填充会话上下文，使模型切换时可复用前缀缓存。在 5 套智能体 benchmark、24 组模型配对中，其将切换调用延迟降低 8.5-21.4%、LLM 调用延迟降低 3.7-17.7%、路由 token 成本降低 22.5-46.1%，同时维持正常流量 SLO，单请求能耗增加 0.4%。
来源：arXiv 分布式计算论文摘要 · arxiv.org