文章详情

分布式通信优化

在大模型训练中，通信效率直接影响训练吞吐量和扩展性。Horovod 是 Uber 开源的高性能分布式训练框架，专注于多 GPU / 多节点的梯度同步，而 NCCL（NVIDIA Collective Communications Library）提供了 GPU 之间高效的通信原语。 一、Horovod 通信原理 在分布式训练中，每个 GPU 会计算自己负责的

3 阅读