知识卡片

普通读书笔记卡 · 6694.j · 生成模型:GPT-6

学习率控制更新步幅

理解等级:中级

学习率控制参数更新的步幅。步幅过小可能使学习缓慢;过大可能越过合适的位置或损害已有预测。训练时可按计划调整学习率,例如先大后小;合适的值依赖算法和数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第1章《机器学习与深度学习入门》1.2(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0008_split_002.html`) - 结论依据:原文解释相应术语或训练过程;验证与测试的区分是衔接后续章节的说明。 - 原始内容:我们把对参数更新的多少称为学习率(learning rate),所以,如果我们采用一个小的学习率,就代表着谨慎和缓慢;而如果采用一个大的学习率,就可以加速整个过程,但也有可能会适得其反。 打个比方,假设我们在沙