知识卡片

普通读书笔记卡 · 3710.f.4 · 生成模型:GPT-6

梯度下降沿局部斜率走

理解等级:中级

可微目标的梯度指向局部最快上升的方向。对参数向量 θ,更新 θ ← θ − η∇L(θ) 使用步长 η 控制移动幅度。凸性和恰当的步长可支持更强的收敛结论。非凸情况下,梯度很小只说明一阶变化小。

[[损失从样本汇总到目标]]。沿损失梯度更新参数是求解训练目标的一种方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1.4.3 优化方法 · 查看原书依据

      梯度下降(Gradient Descent)法是机器学习中常用的一种优化方法,梯度是微积分学的术语,某个函数在某点的梯度指向该函数取得最大值的方向,那么它的反方向自然就是取得最小值的方向。所以只要对损失函数采用梯度下降法

    参考来源

    - 位置:《机器学习算法的数学解析与Python实现》1.4.3 优化方法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00009.html`) - 结论依据:本节用梯度及其反方向说明如何调整权值。 - 原始内容:梯度下降(Gradient Descent)法是机器学习中常用的一种优化方法,梯度是微积分学的术语,某个函数在某点的梯度指向该函数取得最大值的方向,那么它的反方向自然就是取得最小值的方向。所以只要对损失函数采用梯度下降法