多类分类下为什么用softmax而不是用其他归一化方法【点击查看详情】
我们最需要的是max操作,因为经过max处理后,输出结果更直观,可以直接与样本的实际类别标签进行对比,方便计算成本函数。不过,max操作有一个缺陷,那就是它不可导,无法直接用于反向传播中。于是,人们提出了一种替代方案——softmax函数。softmax函数的核心思想是将最后一层的输出值进行指数级放大。每个值都会增大,但最大的那个值相对于其他值会放大得更多。然后,通过归一化处理,使得所有输出值的总和为1。这种处理方式在极限情况下,如果最大值x_1经过指数运算后与其他值相比无穷大,那么其归一化后的值为1,而其他输出值的归一化值趋近于0。这样,softmax不仅模拟了max的操作效果,还具备可导性,使得其可以应用于神经网络的训练过程中,通过反向传播算法更新网络参数,从而优化模型性能。
相关视频/文章