知识卡片
梯度下降沿负梯度更新
梯度描述损失相对于各参数的局部变化,更新时从原参数减去学习率乘梯度。步长过大时可能反复越过低点,步长过小会拖慢下降。用损失曲线检查迭代是否稳定,并核对是否到达满足需求的解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 回归算法
原书出处 · 1 处
- 回归算法 4.1.3 · 查看原书依据
这样一步一步走下去,一直走到觉得我们已经到了山脚下。这里下山最陡的方向就是梯度的负方向,如图4-6所示。
参考来源
- 位置:《AI制胜:机器学习极简入门》第4章 回归算法 §4.1.3(来源项目 book-source:extracted/AI制胜:机器学习极简入门/_epub-src/OEBPS/Text/chapter4.xhtml#isbn9787302555513_4_1_1_3)
- 结论依据:原文用迷雾中下山的例子说明负梯度、重新测量方向和学习率。
- 原始内容:这样一步一步走下去,一直走到觉得我们已经到了山脚下。这里下山最陡的方向就是梯度的负方向,如图4-6所示。