短时突发消退后，前缀缓存智能体服务仍会持续退化
Wen Huang 和 Jack Liu 发现，数分钟的额外请求可使 vLLM 智能体服务持续退化，缓存命中率降至约10%、吞吐量减半，积压在其余70分钟内继续增长。
#推理部署
arXiv 分布式计算论文摘要 arXiv 分布式计算论文摘要 Plumbline：当损失函数说谎，如何正确验证 LLM 训练
Plumbline 是用于验证 LLM 训练正确性的系统，已在 Amazon 生产环境使用，可检查从训练数据、新增模型层到完整训练及模型服务的全生命周期，并追踪故障根因。它在 3 个框架和 5 个模型中发现 61 个问题，其中 32 个为静默问题，42 个已修复或上报上游。
arXiv 分布式计算论文摘要 SHADOWPREFILL：为智能体 LLM 服务的逐步模型路由预热下一模型
SHADOWPREFILL 利用正常流量的闲置容量，为路由器未选中的模型预填充会话上下文，使模型切换时可复用前缀缓存。在 5 套智能体 benchmark、24 组模型配对中，其将切换调用延迟降低 8.5-21.4%、LLM 调用延迟降低 3.7-17.7%、路由 token 成本降低 22.5-46.1%，同时维持正常流量 SLO，单请求能耗增加 0.4%。
arXiv 分布式计算论文摘要 基于 NVLink 的 MoE 推理单边专家并行全对全通信
NVLinkOneSided 为单一 NVLink 域内的 GPU 提供单边专家并行全对全通信，无需预先交换元数据，并让 grouped GEMMs 原地读取 token。
arXiv 分布式计算论文摘要 Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行
Decode Token Parallelism（TKNP）通过解耦权重放置与注意力归属，在不复制权重或跨节点合并部分注意力结果的情况下扩展请求本地注意力。该架构基于 vLLM 实现，在最多 64 张 H100 GPU 上评测 Llama 3.1 405B 和 Nemotron-4 340B，长上下文高并发任务的完成吞吐量较 DCP 最高提升 1.7×，较数据并行最高提升 2.06×。
Berkeley AI Research K-Search 如何将 CUDA 内核优化经验迁移到 Apple Silicon
K-Search 新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，将已有 CUDA 内核知识转化为适配 Apple Silicon 的优化策略。其 Attention 内核达到原生 MLX Attention 内核的 0.97x 性能，Mamba SSM 内核在 M1 Max 上凭借并行扫描获得相对社区 mlx-lm 实现最高约 20x 的预填充吞吐提升。