首页 > 试题广场 >

在混合精度训练中,为什么通常需要维护一份FP32的模型参数副

[单选题]
在混合精度训练中,为什么通常需要维护一份FP32的模型参数副本(Master Weights)?
  • FP16无法存储模型参数
  • 累积的FP16梯度更新可能因精度不足而被舍入为零
  • FP32参数用于计算前向传播以提高速度
  • FP32参数仅在推理阶段使用

这道题你会答吗?花几分钟告诉大家答案吧!