首页 > 试题广场 >

在神经网络训练过程中，为什么会出现梯度消失的问题？如何防止？

[问答题]
在神经网络训练过程中，为什么会出现梯度消失的问题？如何防止？






添加回答
lixxxxxx头像 lixxxxxx

神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。

防止：

1）使用relu、LRelu、ELU、maxout等激活函数。

sigmoid函数的梯度会随着x的增大或减小和消失，而relu不会。

2）使用批规范化

通过规范化操作将输出信号x规范化到均值为0，方差为1，保证网络的稳定性。从上述分析可以看到，反向传播中有w的存在，所以w的大小影响了梯度的消失和爆炸，BN就是通过对每一层的输出规范为均值和方差一致的方法，消除了w带来的放大和缩小的影响，进而解决梯度消失和爆炸的问题

发表于 2019-06-26 09:56:44 回复(0)
可怜可怜吧，给个offer吧头像 可怜可怜吧，给个offer吧

关于梯度消失，以sigmoid函数为例子，sigmoid函数使得输出在[0,1]之间。

事实上x到了一定大小，经过sigmoid函数的输出范围就很小了


如果输入很大，其对应的斜率就很小，我们知道，其斜率（梯度）在反向传播中是权值学习速率。所以就会出现如下的问题，

在深度网络中，如果网络的激活输出很大，其梯度就很小，学习速率就很慢。假设每层学习梯度都小于最大值0.25，网络有n层，因为链式求导的原因，第一层的梯度小于0.25的n次方，所以学习速率就慢，对于最后一层只需对自身求导1次，梯度就大，学习速率就快。

这会造成两个影响：

  1. 在一个很大的深度网络中，浅层基本不学习，权值变化小，后面几层一直在学习，结果就是，后面几层基本可以表示整个网络，失去了深度的意义。
  2. 造成网络无法收敛。

如何解决梯度消失问题？

  • relu, dropout等小技巧，第二波深度学习算法已经基本抛弃了预训练的做法。引入RELU代替sigmoid激活函数。
  • ResNet 深度残差学习（deepresidual learning）进一步避免了梯度消失（其实是把高阶特征和低阶做融合）。
  • 归一初始化 各层输入归一化，使得可以收敛的网络的深度提升为原来的十倍。

编辑于 2019-07-26 09:13:13 回复(2)
创始元灵头像 创始元灵
在神经网络中出现梯度消失的原因主要是：激活函数的选择导致、权重初始化值的选择问题
防止梯度消失：
预训练加微调
梯度剪切
权重正则化
使用relu、LRelu、ELU、maxout等激活函数
使用BatchNormlization
使用残差网络
使用LSTM网络

发表于 2019-07-10 16:50:56 回复(0)
干不死往死里干头像 干不死往死里干
出现梯度消失主要是 选择的sigmoid激活函数和网络初始化参数的问题

防止梯度消失的方法：
1、使用不同的激活函数例如使用relu、Lrelu、maxout、dorpout等激活函数
2、数据批量归一化
3、使用残差网络（resnet）是低层和高层的信息的融合；
4、适当的调整学习率和权重衰减项
5、对于网络重新设计并进行微调

发表于 2019-08-07 16:27:56 回复(0)
柚子wu头像 柚子wu
训练过拟合会导致损失值收敛后又增大，导致网络的性能变差。
可以采取归一化，适当调整学习率，重新调整网络结构，修改激活函数等操作来防止梯度消失现象
发表于 2019-07-23 13:08:03 回复(0)
넌어디에서头像 넌어디에서 
在神经网络中出现梯度消失的原因主要是：激活函数的选择导致、权重初始化值的选择问题
1.神经网络中大多时候都会选择softmax、tanh函数，而这两个函数的导数分别小于0.25和1，当神经网络的隐含层层增多的时候在求解loss函数关于参数
的导数的时候，上一层函数关于下一层的导数的求导<1,多个求导的连乘,此时会发生梯度消失。其实在softmax、tanh的函数图像中我们可以发现，
这两个函数在图像两端处于饱和阶段。
2.权重初始值的问题，在训练模型的时候，越靠近输出层的隐含层的权重变化比较大，越靠近输入层的隐含层的权重变化比较慢而且越接近初始化的权值
，当初始化的权值很大的时候，在进行求导的时候会出现梯度消失
防止这种情况的发生主要是选择合适的激活函数，一般选择不饱和函数，也即数据没有发生压缩的函数，常用relu函数，当x>0的时候，relu函数的输出
z直接是x；当然我们还可以通过选择较小的参数初始值，在一般情况下我们选择符合标准正态分布的随机数作为初始值

发表于 2019-07-08 16:49:14 回复(0)
提交观点

问题信息

iHandy 算法工程师 2019
上传者：小小
难度：
6条回答 7121浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号