知识卡片
学习率控制下降步长
以参数减去学习率乘损失梯度。书中二元例给定初始梯度 (−40,−32),步长 0.04 时由 (−1,−3) 更新至 (0.6,−1.72)。步长 0.2 时第一坐标在最优点两侧振荡。局部负梯度方向正确并不能弥补步子过大。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 6.2.2 梯度和梯度下降 · 查看原书依据
参数的第一次更新就已经过头了
参考来源
- 位置:《强化学习入门:从原理到实践》第6章《6.2.2 梯度和梯度下降》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter57.xhtml`,body 子元素 42
- 结论依据:原文用二次函数说明过大的学习率可跨过最优点并振荡。
- 原始内容:参数的第一次更新就已经过头了