arXiv 分布式计算论文摘要· Ruochen Wen, Hongyang Wang, Siwei Li, Wenbo Chen, Xian Li, Jingguo Liu, Leo Fan, Yiming Yan, Qian Qu, Zheshen Wang, Benoit Dumoulin·· 8 小时前
Plumbline：当损失函数说谎，如何正确验证 LLM 训练
Plumbline: When the Loss Lies, Validating LLM Training Correctly
内容摘要
Plumbline 是用于验证 LLM 训练正确性的系统，已在 Amazon 生产环境使用，可检查从训练数据、新增模型层到完整训练及模型服务的全生命周期，并追踪故障根因。它在 3 个框架和 5 个模型中发现 61 个问题，其中 32 个为静默问题，42 个已修复或上报上游。
来源：arXiv 分布式计算论文摘要 · arxiv.org