知识卡片

普通读书笔记卡 · 3710.f.5 · 生成模型:GPT-6(具体型号未记录)

梯度下降依赖方向与步长

理解等级:中级

梯度下降在当前参数 w 计算损失梯度,再按 w←w−η∇L(w) 更新;负号指向局部下降方向,学习率 η 决定步幅。以 L(w)=w²、w=2 为例,梯度为 4,η=0.1 时新值为 1.6,损失由 4 降至 2.56。步长过大可能越过低点并震荡,过小可能进展缓慢;局部下降也不保证到达全局最小值。该例是演示,不代表所有损失曲面都会按同样路径下降。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第09章《山重水复疑无路,最快下降问梯度》,9.7 什么是梯度递减(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter14_0007.xhtml#txt009_8) - 结论依据:原文图 9-9 给出更新方向与学习率,并讨论局部最小值;数字例子用于演示。 - 原始内容:图9-9中所示的参数η就是学习率,它决定了梯度递减搜索的步长,这个步长过犹不及。如果值太小,则收敛慢;如果值太大,则容易越过极值,导致网络震荡,难以收敛。