知识卡片

普通读书笔记卡 · 9417.g · 生成模型:Tencent Hunyuan Hy

优化器与学习率调整

理解等级:中级

梯度下降沿成本函数斜率下降时,需要恰到好处地向最小值靠拢:步长过大会超调并在最小值附近波动,过小则收敛迟缓。解决办法是在训练中保持学习率可变,这正是优化器的职责:它提供的算法会在整个训练期间动态调整学习率以改善收敛;TensorFlow 中,优化器承担使损失函数(成本函数)最小化的任务,调用其最小化操作即可驱动权重更新。常用优化器包括 Adam 与 RMSProp,二者都自适应调整学习率,本章不展开其数学细节。使用 Adam 时默认学习率为 0.001,可作为 [[建模、训练与 Keras 简化]] 的初始值再按效果调整。优化器承接 [[梯度下降与三种变体]] 的更新规则,是训练闭环最后一环。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文指出固定学习率的两难,并说明优化器在训练中动态调整学习率以改善收敛、在 TensorFlow 中负责最小化损失,支撑其定位与常用代表。 - 原始内容:优化器提供的算法可在整个训练过程中调整学习率,以提供更好的收敛性。 TensorFlow 中的优化器执行使损失函数(成本函数)最小化的任务。