arXiv 分布式计算论文摘要· Susav Shrestha, Brad Settlemyer, Narasimha Reddy·· 8 小时前
Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行
Decode Token Parallelism: Memory-Efficient Distributed Attention Parallelism for Scalable LLM Decoding
内容摘要
Decode Token Parallelism（TKNP）通过解耦权重放置与注意力归属，在不复制权重或跨节点合并部分注意力结果的情况下扩展请求本地注意力。该架构基于 vLLM 实现，在最多 64 张 H100 GPU 上评测 Llama 3.1 405B 和 Nemotron-4 340B，长上下文高并发任务的完成吞吐量较 DCP 最高提升 1.7×，较数据并行最高提升 2.06×。
来源：arXiv 分布式计算论文摘要 · arxiv.org