arXiv 分布式计算论文摘要· Bo Li, Chulian Zhang, Or Biri, Anthony Chang, Anton Korzh, Noam Duvdevani, XingFei Xi, Daniel Stokes, Zhenhuan Chen, Ludwig Schneider, Artem Y. Polyakov, Julien Demouth, Chandler Zhou·· 8 小时前
基于 NVLink 的 MoE 推理单边专家并行全对全通信
One-Sided Expert-Parallel All-to-All for Mixture-of-Experts Inference over NVLink
内容摘要
NVLinkOneSided 为单一 NVLink 域内的 GPU 提供单边专家并行全对全通信，无需预先交换元数据，并让 grouped GEMMs 原地读取 token。
来源：arXiv 分布式计算论文摘要 · arxiv.org