知识卡片
梯度下降依赖方向与步长
梯度下降在当前参数 w 计算损失梯度,再按 w←w−η∇L(w) 更新;负号指向局部下降方向,学习率 η 决定步幅。以 L(w)=w²、w=2 为例,梯度为 4,η=0.1 时新值为 1.6,损失由 4 降至 2.56。步长过大可能越过低点并震荡,过小可能进展缓慢;局部下降也不保证到达全局最小值。该例是演示,不代表所有损失曲面都会按同样路径下降。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第09章《山重水复疑无路,最快下降问梯度》,9.7 什么是梯度递减(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter14_0007.xhtml#txt009_8)
- 结论依据:原文图 9-9 给出更新方向与学习率,并讨论局部最小值;数字例子用于演示。
- 原始内容:图9-9中所示的参数η就是学习率,它决定了梯度递减搜索的步长,这个步长过犹不及。如果值太小,则收敛慢;如果值太大,则容易越过极值,导致网络震荡,难以收敛。