# 谷歌缩短训练集群间的等待时间

> 谷歌在训练 320 亿参数模型时，让两组 TPU 交换更小规模的更新。在模拟网络受限的条件下，单步耗时保持稳定，但该方法在真实数据中心间需要付出多少成本仍未明确。

- URL: https://ai-news-daily.xyz/zh/posts/google-cut-the-wait-between-training-clusters/
- Published: 2026-11-22
- Tags: research, hardware, models
- Author: AI 生成 (this text was generated by AI; see https://ai-news-daily.xyz/zh/about/#ai-disclosure)
- Publisher: [AI News Daily](https://ai-news-daily.xyz/zh/)

谷歌（Google）工程师在两组 TPU 之间设置了带宽上限。在 10 Gbps 的带宽下，普通数据并行训练单步耗时 55.11 秒。改为在后台交换更小规模的更新后，同一模型每步耗时 5.76 秒。

谷歌在 11月发布了这项实验，在两个 TPU v5p-32 切片上测试了 Qwen3-32B。这两个切片原本处于高速网络环境中，团队借助 Linux 流量控制功能，模拟出两组加速器之间可能遇到的带宽限制。通过这种设计，团队得以在保持硬件和模型不变的同时，单独改变能够通过链路的数据量。

## 当链路决定训练节奏

在标准数据并行训练中，每组设备各持有一份模型副本，处理不同批次的训练样本。各组先算出梯度，以确定模型参数该如何调整，再将梯度汇总，让所有副本保持同步。在高速网络上，部分数据交换可以与计算重叠。一旦通信耗时超过能够掩盖它的计算时间，加速器就不得不等待。

谷歌估计，其数据并行方案每步经由链路交换的数据约 65.5 GB。链路全速运行时，该基线方案每步耗时约 5.6 秒；在 30 Gbps 带宽下，每步耗时增至 19.41 秒。模型和单步计算量都没有变化，多出来的时间大部分都花在了跨链路传输更新上。

这正是 Arthur Douillard 与同事在最初的 DiLoCo 研究中试图解决的问题。在基于 C4 训练语言模型的研究中，研究人员让 8 组设备各自独立训练一段时间，再定期汇合更新。他们报告称，在那项具体实验中，数据交换量仅为原来的 1/500，仍取得了与全同步训练相当的效果。该研究的实验配置与新的 MaxText 基准测试不同，因此两者测得的流量降幅衡量的并非同一回事。

## 改变更新的传输时机

原始 DiLoCo 在每段独立训练结束时仍存在问题。开销较低的步骤可以全速运行，但随后各组必须一次性同步整个模型。在谷歌新基准测试的 10 Gbps 带宽上限下，普通 DiLoCo 平均每步耗时 7.55 秒，依然存在周期性停顿。对于大部分时间都在持续运算的训练系统而言，规律性的停顿会在平均耗时中占到相当可观的比例。

2025年的 Streaming DiLoCo 论文改变了同步调度方式。各组不再一次性发送整个模型，而是按顺序分段交换，后续训练步骤可在传输过程中继续推进。论文还探讨了量化交换数据的做法，以减少表示数据所需的比特数。这背后的根本区别在于：系统在整个训练过程中累计发送了多少数据，以及它在同一时刻试图发送多少数据。

在 MaxText 实验中，团队将 Qwen3-32B 划分为 65 个分片。各组在继续训练的同时，由主机 CPU 在后台为一个分片同步约 1 GB 数据。在 65 步内，两个切片之间的通信流量从标准数据并行的 4,258.8 GB 降至 Streaming DiLoCo 的 67 GB。无论带宽为 30 Gbps 还是 10 Gbps，平均单步耗时都保持在 5.76 秒。在没有带宽限制的情况下，三种方法完成单步训练的时间大致相同。

## 实验衡量的不止是流量

等待时间更短的模型，训练结束后的效果仍可能更差。让工作节点独立更新，会改变每个节点所看到的权重序列。谷歌特别提到混合专家模型：在这类模型中，路由器负责决定由模型的哪些部分处理每个 token。如果路由器独立学习的时间过长，就可能学会把相似样本发送给不同的专家。

MaxText 团队针对 Qwen3-30B-A3B 和 Gemma4-26B-A4B 这两款此类模型，比较了 4,000 步训练的验证损失。团队报告称，流式训练的表现与同步基线持平或略有改善。在 Qwen 模型的训练中，团队在最初约 800 步内调整了同步方式。这一结果衡量的是模型在测试阶段对留出数据的预测能力，至于其他模型和更长周期的训练需要多少调优，目前仍未明确。

对于不得不跨地点获取算力的团队而言，存在两个独立的问题。其一，更新在传输途中时，训练任务能否持续计算；其二，当网络中存在实验未能复现的真实延迟、故障和流量时，达到所需模型质量需要付出多少成本。吞吐量对比使用了一款稠密模型和两组加速器，质量测试则在有限步数内回答了另一个问题。对于真实站点，谷歌没有给出成本对比，也未提供达到目标损失所需时间的测量数据。

工程师们最初是在一条原本足以承载流量的链路上设置了上限。限速开启后，普通数据并行每步多耗费了近 50 秒。而 Streaming DiLoCo 无论是否开启限速，单步完成时间几乎相同。

## 参考文献

- Douillard, A., Feng, Q., Rusu, A. A., et al. (2023). *DiLoCo: Distributed Low-Communication Training of Language Models*. https://arxiv.org/abs/2311.08105
- Douillard, A., Donchev, Y., Rush, K., et al. (2025). *Streaming DiLoCo with overlapping communication: Towards a Distributed Free Lunch*. https://arxiv.org/abs/2501.18512
- Khatwani, M., Zuo, C., Fallen, N., et al. (2026). *Distributed LLM Training Across Metros: Streaming DiLoCo in MaxText*. https://developers.googleblog.com/distributed-llm-training-across-metros-streaming-diloco-in-maxtext/
