文章详情

混合精度计算

在大模型训练时代，模型参数规模动辄数百亿甚至上万亿，传统的 FP32 单精度训练 已经无法满足显存和速度的需求。混合精度（Mixed Precision Training）技术通过在保持模型精度的同时使用更低位数的浮点格式（如 FP16、BFLOAT16），有效减少显存占用、提升吞吐量，已经成为深度学习训练的标配。 1. 什么是混合精度计算？ 混合精度计算是

3 阅读