知识卡片
梯度下降沿局部斜率走
可微目标的梯度指向局部最快上升的方向。对参数向量 θ,更新 θ ← θ − η∇L(θ) 使用步长 η 控制移动幅度。凸性和恰当的步长可支持更强的收敛结论。非凸情况下,梯度很小只说明一阶变化小。
[[损失从样本汇总到目标]]。沿损失梯度更新参数是求解训练目标的一种方式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1.4.3 优化方法 · 查看原书依据
梯度下降(Gradient Descent)法是机器学习中常用的一种优化方法,梯度是微积分学的术语,某个函数在某点的梯度指向该函数取得最大值的方向,那么它的反方向自然就是取得最小值的方向。所以只要对损失函数采用梯度下降法
参考来源
- 位置:《机器学习算法的数学解析与Python实现》1.4.3 优化方法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00009.html`)
- 结论依据:本节用梯度及其反方向说明如何调整权值。
- 原始内容:梯度下降(Gradient Descent)法是机器学习中常用的一种优化方法,梯度是微积分学的术语,某个函数在某点的梯度指向该函数取得最大值的方向,那么它的反方向自然就是取得最小值的方向。所以只要对损失函数采用梯度下降法