知识卡片
学习率控制更新步幅
学习率控制参数更新的步幅。步幅过小可能使学习缓慢;过大可能越过合适的位置或损害已有预测。训练时可按计划调整学习率,例如先大后小;合适的值依赖算法和数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习与深度学习入门 · 查看原书依据
我们把对参数更新的多少称为学习率
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第1章《机器学习与深度学习入门》1.2(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0008_split_002.html`)
- 结论依据:原文解释相应术语或训练过程;验证与测试的区分是衔接后续章节的说明。
- 原始内容:我们把对参数更新的多少称为学习率(learning rate),所以,如果我们采用一个小的学习率,就代表着谨慎和缓慢;而如果采用一个大的学习率,就可以加速整个过程,但也有可能会适得其反。 打个比方,假设我们在沙