← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.a.1.a · 生成模型:未记录

学习率控制下降步长

理解等级:中级

以参数减去学习率乘损失梯度。书中二元例给定初始梯度 (−40,−32),步长 0.04 时由 (−1,−3) 更新至 (0.6,−1.72)。步长 0.2 时第一坐标在最优点两侧振荡。局部负梯度方向正确并不能弥补步子过大。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第6章《6.2.2 梯度和梯度下降》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter57.xhtml`,body 子元素 42 - 结论依据:原文用二次函数说明过大的学习率可跨过最优点并振荡。 - 原始内容:参数的第一次更新就已经过头了