知识卡片
学习率调度与验证指标
学习率调度根据训练步数、轮次或验证指标调整步长,例如指数衰减、分段衰减或指标停滞时降低。初始值、调整时点与衰减幅度都需结合任务试验;过快衰减可能使训练在未充分优化时停滞。使用验证集选择调度,保留测试集作最终评估。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 优化器 · 查看原书依据
我们可以在学习过程的早期
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第19章《优化器》19.3(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0026_split_003.html`)
- 结论依据:我们可以在学习过程的早期。
- 原始内容:我们可以在学习过程的早期,在寻找一个不错的深谷时迈较大的步子。随着时间的推移,我们可能找到了通往最小值的路,因此当接近谷底时,我们可以走越来越小的碎步。