首页 > 试题广场 >

在PyTorch的DistributedDataParall

[单选题]
在PyTorch的DistributedDataParallel(DDP)中,梯度同步默认在什么时机进行?
  • 每个epoch结束后
  • 每个mini-batch的前向传播之前
  • 每个mini-batch的反向传播过程中(与计算重叠)
  • 仅在模型保存checkpoint时

这道题你会答吗?花几分钟告诉大家答案吧!