知识卡片
Adam按梯度矩调整更新
Adam 用梯度的一阶矩和二阶矩的指数移动平均来调整参数更新:一阶矩追踪梯度方向,二阶矩追踪梯度平方尺度,通常还对初期估计做偏差修正。它仍需设定基础学习率和其他超参数,表现取决于模型与数据,不能保证收敛或永远优于其他优化器。书中训练示例以 Adam 最小化交叉熵。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 纸上谈兵终觉浅,绝知卷积要编程 13.6 卷积神经网络应用 · 查看原书依据
Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.6 卷积神经网络应用(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0006.xhtml#txt013_25)
- 结论依据:原文分层代码及优化器描述,偏差修正和适用边界为理解补充。
- 原始内容:Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计