梯度下降法、局部解与学习率

[[神经网络损失函数与误差反向传播法|损失函数]]如果简单（比如二次函数），直接用微分算出最小值即可；但真实的损失函数往往极其复杂，无法直接解出最小值，梯度下降法因此改用”试探式”策略：在图形上选一个点，朝着数值变小的方向一点点挪动，逐步逼近最小值——每次计算全部数据误差再移动叫最陡下降法（方向准但慢），每次只随机抽几个数据算误差再移动叫概率梯度下降法（快但方向有噪声）。这种局部试探策略有个致命弱点：复杂函数存在多个”看起来是最低点、实际不是全局最低点”的坑，一旦掉进去就出不来，这叫局部解。学习率（每一步移动的步幅大小）是应对这个问题的关键参数——步子太小容易困在局部解里出不来，步子太大又可能跨过真正的最优点、迟迟收敛不了，需要反复试验才能找到合适的平衡点。