短时突发消退后，前缀缓存智能体服务仍会持续退化
Wen Huang 和 Jack Liu 发现，数分钟的额外请求可使 vLLM 智能体服务持续退化，缓存命中率降至约10%、吞吐量减半，积压在其余70分钟内继续增长。
#部署/工程
arXiv 分布式计算论文摘要 arXiv 分布式计算论文摘要 Plumbline：当损失函数说谎，如何正确验证 LLM 训练
Plumbline 是用于验证 LLM 训练正确性的系统，已在 Amazon 生产环境使用，可检查从训练数据、新增模型层到完整训练及模型服务的全生命周期，并追踪故障根因。它在 3 个框架和 5 个模型中发现 61 个问题，其中 32 个为静默问题，42 个已修复或上报上游。
arXiv 分布式计算论文摘要 基于 NVLink 的 MoE 推理单边专家并行全对全通信
NVLinkOneSided 为单一 NVLink 域内的 GPU 提供单边专家并行全对全通信，无需预先交换元数据，并让 grouped GEMMs 原地读取 token。
arXiv 分布式计算论文摘要 Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行
Decode Token Parallelism（TKNP）通过解耦权重放置与注意力归属，在不复制权重或跨节点合并部分注意力结果的情况下扩展请求本地注意力。该架构基于 vLLM 实现，在最多 64 张 H100 GPU 上评测 Llama 3.1 405B 和 Nemotron-4 340B，长上下文高并发任务的完成吞吐量较 DCP 最高提升 1.7×，较数据并行最高提升 2.06×。
arXiv 机器人论文摘要 Maze Runner：基于线特征定位与控制障碍函数的自主迷宫导航
Maze Runner 是基于 C++ 和 ROS 2 的开放自主导航栈，结合线特征 EKF 定位与 SLAM、在线路径规划、NMPC 和控制障碍函数，在 Gazebo 中驱动 Husarion ROSbot XL 安全穿越迷宫。
arXiv 分布式计算论文摘要 PegasusAI Studio：面向科学工作流的可理解网络基础设施与可问责 AI 智能体
PegasusAI Studio 基于 Pegasus 和 HTCondor 构建 AI 辅助科学网关，让编码智能体理解执行环境，并将每项操作归因于用户且限制在其权限内。系统支持 JupyterHub 研究云和 HPC 上的 Open OnDemand，案例评估涵盖 CASA 工作流现代化、引力波与 EEG 分析，以及从两次失败恢复至零失败执行的 EHT M87 图像重建。
Berkeley AI Research K-Search 如何将 CUDA 内核优化经验迁移到 Apple Silicon
K-Search 新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，将已有 CUDA 内核知识转化为适配 Apple Silicon 的优化策略。其 Attention 内核达到原生 MLX Attention 内核的 0.97x 性能，Mamba SSM 内核在 M1 Max 上凭借并行扫描获得相对社区 mlx-lm 实现最高约 20x 的预填充吞吐提升。