文章详情

ZeRO系列解析

在大模型训练中，显存瓶颈是制约模型规模的重要因素。DeepSpeed 推出的 Zero Redundancy Optimizer（ZeRO） 系列，通过将模型状态（参数、梯度、优化器状态）分布到不同 GPU 上，实现显著的显存优化。 1. ZeRO 核心原理 ZeRO的全称为 Zero Redundancy Optimizer，意思是去除冗余的优化器，我们都

3 阅读