一、简介在机器学习和深度学习中，激活函数、损失函数和优化函数是三个重要的概念，也是在面试中很容易考察你在项目中这些函数选择的时候常问的一些问题。它们在神经网络和其他学习算法中发挥关键作用。激活函数（Activation Function）是神经网络中的一个非常重要的组件，它定义了神经元（或者称为节点）的输出。每个神经元都会将其输入加权求和后通过激活函数进行非线性转换，使得神经网络能够学习复杂的非线性关系，激活函数引入非线性是因为多个线性层的组合仍然是线性的，而引入非线性激活函数使得神经网络可以学习更加复杂的函数。常见的激活函数包括 Sigmoid、ReLU（Rectified Linear U...
