算法面试高频知识点：JS散度解析
JS散度全称Jensen-Shannon散度，简称JS散度。在概率统计中，JS散度也与KL散度一样具备了测量两个概率分布相似程度的能力，它的计算方法基于KL散度，继承了KL散度的非负性等，但有一点重要的不同，JS散度具备了对称性。
JS散度的公式如下所示，我们设定两个概率分布为和
，另外我们还设定
，KL为KL散度公式。
如果我们把KL散度公式写入展开的话，结果如下所示：
深度学习中使用KL散度和JS散度进行度量的时候存在一个问题：
如果两个分布，
离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数
。这对以梯度下降为基础的深度学习算法有很大影响，这意味梯度为0，即梯度消失。
查看17道真题和解析