谷歌(Google)工程师在两组 TPU 之间设置了带宽上限。在 10 Gbps 的带宽下,普通数据并行训练单步耗时 55.11 秒。改为在后台交换更小规模的更新后,同一模型每步耗时 5.76 秒。

谷歌在 11月发布了这项实验,在两个 TPU v5p-32 切片上测试了 Qwen3-32B。这两个切片原本处于高速网络环境中,团队借助 Linux 流量控制功能,模拟出两组加速器之间可能遇到的带宽限制。通过这种设计,团队得以在保持硬件和模型不变的同时,单独改变能够通过链路的数据量。

当链路决定训练节奏

在标准数据并行训练中,每组设备各持有一份模型副本,处理不同批次的训练样本。各组先算出梯度,以确定模型参数该如何调整,再将梯度汇总,让所有副本保持同步。在高速网络上,部分数据交换可以与计算重叠。一旦通信耗时超过能够掩盖它的计算时间,加速器就不得不等待。

谷歌估计,其数据并行方案每步经由链路交换的数据约 65.5 GB。链路全速运行时,该基线方案每步耗时约 5.6 秒;在 30 Gbps 带宽下,每步耗时增至 19.41 秒。模型和单步计算量都没有变化,多出来的时间大部分都花在了跨链路传输更新上。

这正是 Arthur Douillard 与同事在最初的 DiLoCo 研究中试图解决的问题。在基于 C4 训练语言模型的研究中,研究人员让 8 组设备各自独立训练一段时间,再定期汇合更新。他们报告称,在那项具体实验中,数据交换量仅为原来的 1/500,仍取得了与全同步训练相当的效果。该研究的实验配置与新的 MaxText 基准测试不同,因此两者测得的流量降幅衡量的并非同一回事。

改变更新的传输时机

原始 DiLoCo 在每段独立训练结束时仍存在问题。开销较低的步骤可以全速运行,但随后各组必须一次性同步整个模型。在谷歌新基准测试的 10 Gbps 带宽上限下,普通 DiLoCo 平均每步耗时 7.55 秒,依然存在周期性停顿。对于大部分时间都在持续运算的训练系统而言,规律性的停顿会在平均耗时中占到相当可观的比例。

2025年的 Streaming DiLoCo 论文改变了同步调度方式。各组不再一次性发送整个模型,而是按顺序分段交换,后续训练步骤可在传输过程中继续推进。论文还探讨了量化交换数据的做法,以减少表示数据所需的比特数。这背后的根本区别在于:系统在整个训练过程中累计发送了多少数据,以及它在同一时刻试图发送多少数据。

在 MaxText 实验中,团队将 Qwen3-32B 划分为 65 个分片。各组在继续训练的同时,由主机 CPU 在后台为一个分片同步约 1 GB 数据。在 65 步内,两个切片之间的通信流量从标准数据并行的 4,258.8 GB 降至 Streaming DiLoCo 的 67 GB。无论带宽为 30 Gbps 还是 10 Gbps,平均单步耗时都保持在 5.76 秒。在没有带宽限制的情况下,三种方法完成单步训练的时间大致相同。

实验衡量的不止是流量

等待时间更短的模型,训练结束后的效果仍可能更差。让工作节点独立更新,会改变每个节点所看到的权重序列。谷歌特别提到混合专家模型:在这类模型中,路由器负责决定由模型的哪些部分处理每个 token。如果路由器独立学习的时间过长,就可能学会把相似样本发送给不同的专家。

MaxText 团队针对 Qwen3-30B-A3B 和 Gemma4-26B-A4B 这两款此类模型,比较了 4,000 步训练的验证损失。团队报告称,流式训练的表现与同步基线持平或略有改善。在 Qwen 模型的训练中,团队在最初约 800 步内调整了同步方式。这一结果衡量的是模型在测试阶段对留出数据的预测能力,至于其他模型和更长周期的训练需要多少调优,目前仍未明确。

对于不得不跨地点获取算力的团队而言,存在两个独立的问题。其一,更新在传输途中时,训练任务能否持续计算;其二,当网络中存在实验未能复现的真实延迟、故障和流量时,达到所需模型质量需要付出多少成本。吞吐量对比使用了一款稠密模型和两组加速器,质量测试则在有限步数内回答了另一个问题。对于真实站点,谷歌没有给出成本对比,也未提供达到目标损失所需时间的测量数据。

工程师们最初是在一条原本足以承载流量的链路上设置了上限。限速开启后,普通数据并行每步多耗费了近 50 秒。而 Streaming DiLoCo 无论是否开启限速,单步完成时间几乎相同。

参考文献

  • Douillard, A., Feng, Q., Rusu, A. A., et al. (2023). DiLoCo: Distributed Low-Communication Training of Language Models. arxiv.org
  • Douillard, A., Donchev, Y., Rush, K., et al. (2025). Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch. arxiv.org
  • Khatwani, M., Zuo, C., Fallen, N., et al. (2026). Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText. developers.googleblog.com