知识卡片
优化器与学习率调整
梯度下降沿成本函数斜率下降时,需要恰到好处地向最小值靠拢:步长过大会超调并在最小值附近波动,过小则收敛迟缓。解决办法是在训练中保持学习率可变,这正是优化器的职责:它提供的算法会在整个训练期间动态调整学习率以改善收敛;TensorFlow 中,优化器承担使损失函数(成本函数)最小化的任务,调用其最小化操作即可驱动权重更新。常用优化器包括 Adam 与 RMSProp,二者都自适应调整学习率,本章不展开其数学细节。使用 Adam 时默认学习率为 0.001,可作为 [[建模、训练与 Keras 简化]] 的初始值再按效果调整。优化器承接 [[梯度下降与三种变体]] 的更新规则,是训练闭环最后一环。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
优化器提供的算法可在整个训练过程中调整学习率,以提供更好的收敛性。 TensorFlow 中的优化器执行使损失函数(成本函数)最小化的任务。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文指出固定学习率的两难,并说明优化器在训练中动态调整学习率以改善收敛、在 TensorFlow 中负责最小化损失,支撑其定位与常用代表。
- 原始内容:优化器提供的算法可在整个训练过程中调整学习率,以提供更好的收敛性。 TensorFlow 中的优化器执行使损失函数(成本函数)最小化的任务。