知识卡片
学习率缩放梯度
∇ 是把各坐标偏导排列起来的算子。学习率 η 乘梯度形成位移,实际长度是 η‖∇f‖。过大时可能越过低点并振荡,太小时进展慢。观察每轮代价有助于判断应换步长还是改变初始化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 哈密顿算子
原书出处 · 1 处
- 哈密顿算子 哈密顿算子 · 查看原书依据
在神经网络的世界中, 称为学习率 。遗憾的是,它的确定方法没有明确的标准,只能通过反复试验来寻找恰当的值。
参考来源
- 位置:《深度学习的数学》第 27 阅读项《哈密顿算子》(来源项目 book-source,extracted/深度学习的数学/_epub-src/text/part0000_split_025.html)
- 结论依据:原文对“学习率”的解释或演示提供本卡的主要依据。
- 原始内容:在神经网络的世界中, 称为学习率 。遗憾的是,它的确定方法没有明确的标准,只能通过反复试验来寻找恰当的值。