在开发一个用于图像分割的模型时,发现模型在训练集上表现优异,但在验证集上表现不佳,且损失函数在训练后期几乎不再下降,呈现平台期(Plateau)。此时,采用哪种学习率调整策略通常最为对症和有效?
使用一个固定的、较小的学习率从头开始训练。
采用余弦退火(Cosine Annealing)调度器,让学习率周期性变化。
采用学习率按阶梯衰减(Step Decay)策略,每隔固定轮数将学习率乘以一个常数。
采用“ReduceLROnPlateau”策略,即当监控指标(如验证集损失)在一段时间内不再改善时,降低学习率。