在亚马逊云科技 VPC 中构建 QoS 网络限速功能
该方案基于 Transit Gateway Connect、FRR 与 Linux TC，在亚马逊云科技 VPC 中构建主备式 QoS VNF，对出口流量集中分级限速。实验将总带宽设为 100 Mbit/s，为实时推理保证 80 Mbit/s，并通过 BGP 路由切换实现 VNF 故障接管。
#推理部署
亚马逊云科技中国博客 arXiv 分布式计算论文摘要 短时突发消退后，前缀缓存智能体服务仍会持续退化
Wen Huang 和 Jack Liu 发现，数分钟的额外请求可使 vLLM 智能体服务持续退化，缓存命中率降至约10%、吞吐量减半，积压在其余70分钟内继续增长。
arXiv 分布式计算论文摘要 Plumbline：当损失函数说谎，如何正确验证 LLM 训练
Plumbline 是用于验证 LLM 训练正确性的系统，已在 Amazon 生产环境使用，可检查从训练数据、新增模型层到完整训练及模型服务的全生命周期，并追踪故障根因。它在 3 个框架和 5 个模型中发现 61 个问题，其中 32 个为静默问题，42 个已修复或上报上游。
arXiv 分布式计算论文摘要 SHADOWPREFILL：为智能体 LLM 服务的逐步模型路由预热下一模型
SHADOWPREFILL 利用正常流量的闲置容量，为路由器未选中的模型预填充会话上下文，使模型切换时可复用前缀缓存。在 5 套智能体 benchmark、24 组模型配对中，其将切换调用延迟降低 8.5-21.4%、LLM 调用延迟降低 3.7-17.7%、路由 token 成本降低 22.5-46.1%，同时维持正常流量 SLO，单请求能耗增加 0.4%。
arXiv 分布式计算论文摘要 基于 NVLink 的 MoE 推理单边专家并行全对全通信
NVLinkOneSided 为单一 NVLink 域内的 GPU 提供单边专家并行全对全通信，无需预先交换元数据，并让 grouped GEMMs 原地读取 token。
arXiv 分布式计算论文摘要 Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行
Decode Token Parallelism（TKNP）通过解耦权重放置与注意力归属，在不复制权重或跨节点合并部分注意力结果的情况下扩展请求本地注意力。该架构基于 vLLM 实现，在最多 64 张 H100 GPU 上评测 Llama 3.1 405B 和 Nemotron-4 340B，长上下文高并发任务的完成吞吐量较 DCP 最高提升 1.7×，较数据并行最高提升 2.06×。
AWS Machine Learning Blog精选 Kimi K3.1 Pro Highspeed 上线 Amazon Bedrock
AWS 在 Amazon Bedrock 上线 Kimi K3.1 Pro Highspeed，可通过 OpenAI 兼容接口及 Converse、Invoke API 调用，并支持工具调用、结构化输出、可配置推理、图像输入和流式输出。
推荐理由：文章串联了模型接入、推理强度调节、Flex 分层和提示词缓存，可用于规划性能与成本兼顾的迁移方案。
AWS Machine Learning Blog精选 Amazon Bedrock tokenomics 数据湖的架构与部署指南
AWS 介绍了如何为 Amazon Bedrock 构建集中式调用可观测性数据湖，跨账户汇总提示词、响应、模型、token 用量、IAM 身份及时间戳，并通过 Amazon Athena 查询。
推荐理由：方案展示了跨 AWS 账户汇总模型调用日志并关联成本的完整路径，可迁移到大规模工作负载的可观测性建设。
NVIDIA Blog精选 NVIDIA 向 CNCF 捐赠 OpenShell，并发布三项开源 AI 基础设施组件
NVIDIA 将智能体安全与治理运行时 OpenShell 捐赠给 CNCF，并宣布 NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot 三项 DSX AI Factory Platform 开源组件。
推荐理由：原文同时交代智能体治理、Kubernetes 扩缩容和推理恢复数据，可用于比较开源 AI 基础设施的落地路径。
AWS Machine Learning Blog Amazon Bedrock Managed Knowledge Base 新增单次 RAG 与仅检索模式
Amazon Bedrock Managed Knowledge Base 现通过 AgenticRetrieveStream 支持单次 RAG、智能体检索和仅检索请求，maxAgentIteration 范围扩展为 0–5。设为 0 时只返回段落且不调用 LLM，设为 1 时执行一次检索并生成答案，设为 2–5 时可进行多轮规划和检索。应用需自行选择模式，现有使用 2–5 的请求保持原有行为。
NVIDIA Blog 从芯片到技能，NVIDIA 与韩国扩大主权 AI 合作
NVIDIA 与韩国科学技术信息通信部扩大主权 AI 合作，覆盖 AI 半导体、数据中心基础设施、人才、初创企业、模型、智能体和安全。双方将支持韩国 NPU 和 XPU 企业探索加入 NVIDIA NVLink Fusion 生态，并与 SK Telecom、Rebellions 合作推进面向韩国模型和工作负载的主权 AI 基础设施。
NVIDIA Blog NVIDIA Dynamo 部署方案推动韩国主流开放模型投入生产
NVIDIA 发布面向 A.X K2、K-EXAONE 2.0、Solar Open 2 和 Motif-3 的 Dynamo 优化部署方案。方案针对 NVIDIA B200 GPU 优化，可开箱即用地将推理性能最高提升 2x，并支持在数据中心规模的多节点环境中部署模型。
NVIDIA 中国官方博客 createrole 用两台 NVIDIA DGX Spark 承载一个科室的“数字员工编制”
createrole 将数字员工应用全栈及开源权重模型部署在两台 NVIDIA DGX Spark 组成的桌面集群，实现当天部署、验收断网的政企私有化交付。DeepSeek-V4-Flash-Vision-Exp 方案采用 FP4/FP8 混合精度权重与 DSpark 投机解码，单请求上下文上限约 100 万 token。
NVIDIA 中国官方博客精选 NVIDIA RTX Spark 笔记本电脑迎来新模型、智能体工具与游戏更新
NVIDIA 为 RTX Spark 笔记本电脑带来模型、智能体工具和游戏更新，并宣布华硕、戴尔、联想、微软和微星的相关产品现已上市。Nemotron 3.5 Transcribe 支持 40 种语言的转录、说话人标注和翻译，NVIDIA App 新增前台应用与后台智能体之间的 GPU 资源管理功能，LFM3 系列也获得首日支持。
推荐理由：多项更新围绕本地模型运行、GPU 资源分配和游戏图形展开，可据此判断 RTX Spark 对开发与娱乐工作流的覆盖范围。
Berkeley AI Research K-Search 如何将 CUDA 内核优化经验迁移到 Apple Silicon
K-Search 新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，将已有 CUDA 内核知识转化为适配 Apple Silicon 的优化策略。其 Attention 内核达到原生 MLX Attention 内核的 0.97x 性能，Mamba SSM 内核在 M1 Max 上凭借并行扫描获得相对社区 mlx-lm 实现最高约 20x 的预填充吞吐提升。
Berkeley AI Research 自适应并行推理如何成为高效推理扩展的新范式
Berkeley AI Research 系统梳理了自适应并行推理，模型可根据问题动态决定何时拆分任务、生成多少并发线程以及如何协调结果。文章比较 Multiverse 的推理引擎与 KV cache 改造方案和 ThreadWeaver 的客户端编排方案，并介绍基于 SFT、RL、关键路径长度与正确性门控奖励的训练方法。