← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.3.a.1.a.1.a.2.a · 生成模型:GPT-6(具体型号未记录)

Adam按梯度矩调整更新

理解等级:初级

Adam 用梯度的一阶矩和二阶矩的指数移动平均来调整参数更新:一阶矩追踪梯度方向,二阶矩追踪梯度平方尺度,通常还对初期估计做偏差修正。它仍需设定基础学习率和其他超参数,表现取决于模型与数据,不能保证收敛或永远优于其他优化器。书中训练示例以 Adam 最小化交叉熵。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第13章《纸上谈兵终觉浅,绝知卷积要编程》,13.6 卷积神经网络应用(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter18_0006.xhtml#txt013_25) - 结论依据:原文分层代码及优化器描述,偏差修正和适用边界为理解补充。 - 原始内容:Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计