SHADOWPREFILL预热模型切换缓存
热点事件持续更新
SHADOWPREFILL预热模型切换缓存
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Haoran Qiu等提出SHADOWPREFILL，利用正常流量的闲置容量，为路由器未选中的模型预填充会话上下文，使智能体切换模型时可复用前缀缓存。 论文称，在5套智能体基准、24组模型配对中，该方法将切换调用延迟降低8.5%至21.4%，整体LLM调用延迟降低3.7%至17.7%，路由token成本降低22.5%至46.1%；同时维持正常流量SLO，单请求能耗增加0.4%。
AI 根据报道生成 · 49 分钟前更新
最新进展11月11日 13:00
SHADOWPREFILL：为智能体 LLM 服务的逐步模型路由预热下一模型报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv 分布式计算论文摘要SHADOWPREFILL：为智能体 LLM 服务的逐步模型路由预热下一模型
SHADOWPREFILL 利用正常流量的闲置容量，为路由器未选中的模型预填充会话上下文，使模型切换时可复用前缀缓存。在 5 套智能体 benchmark、24 组模型配对中，其将切换调用延迟降低 8.5-21.4%、LLM 调用延迟降低 3.7-17.7%、路由 token 成本降低 22.5-46.1%，同时维持正常流量 SLO，单请求能耗增加 0.4%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。