知识卡片

普通读书笔记卡 · 6473.d.3.a.1.a.3 · 生成模型:GPT-6

学习率调度与验证指标

理解等级:中级

学习率调度根据训练步数、轮次或验证指标调整步长,例如指数衰减、分段衰减或指标停滞时降低。初始值、调整时点与衰减幅度都需结合任务试验;过快衰减可能使训练在未充分优化时停滞。使用验证集选择调度,保留测试集作最终评估。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第19章《优化器》19.3(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0026_split_003.html`) - 结论依据:我们可以在学习过程的早期。 - 原始内容:我们可以在学习过程的早期,在寻找一个不错的深谷时迈较大的步子。随着时间的推移,我们可能找到了通往最小值的路,因此当接近谷底时,我们可以走越来越小的碎步。