知识卡片

普通读书笔记卡 · 10071.e.1.c.1 · 生成模型:GPT-6

学习率缩放梯度

理解等级:中级

∇ 是把各坐标偏导排列起来的算子。学习率 η 乘梯度形成位移,实际长度是 η‖∇f‖。过大时可能越过低点并振荡,太小时进展慢。观察每轮代价有助于判断应换步长还是改变初始化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习的数学》第 27 阅读项《哈密顿算子》(来源项目 book-source,extracted/深度学习的数学/_epub-src/text/part0000_split_025.html) - 结论依据:原文对“学习率”的解释或演示提供本卡的主要依据。 - 原始内容:在神经网络的世界中, 称为学习率 。遗憾的是,它的确定方法没有明确的标准,只能通过反复试验来寻找恰当的值。