TKNP解耦权重放置与注意力归属
热点事件持续更新
TKNP解耦权重放置与注意力归属
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Susav Shrestha、Brad Settlemyer和Narasimha Reddy提出Decode Token Parallelism（TKNP）解码池架构，将权重放置与注意力归属解耦，以扩展请求本地注意力，无需复制权重或跨节点合并部分注意力结果。 作者基于vLLM实现TKNP，并在最多64张H100 GPU上测试Llama 3.1 405B和Nemotron-4 340B；其论文称，在长上下文、高并发任务中，完成吞吐量较DCP最高提升1.7倍，较数据并行最高提升2.06倍。
AI 根据报道生成 · 49 分钟前更新
最新进展11月11日 13:00
Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv 分布式计算论文摘要Decode Token Parallelism：面向可扩展 LLM 解码的内存高效分布式注意力并行
Decode Token Parallelism（TKNP）通过解耦权重放置与注意力归属，在不复制权重或跨节点合并部分注意力结果的情况下扩展请求本地注意力。该架构基于 vLLM 实现，在最多 64 张 H100 GPU 上评测 Llama 3.1 405B 和 Nemotron-4 340B，长上下文高并发任务的完成吞吐量较 DCP 最高提升 1.7×，较数据并行最高提升 2.06×。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。