知识卡片
负梯度走一步:批量与随机
梯度是多元函数在某点的偏导数构成的向量,它的负方向是函数值下降最快的方向。梯度下降法就是把”沿负梯度走一小步”重复执行,直到走到极小值点。
为什么是负梯度:把 f 在 xₖ 处一阶展开,f(xₖ₊₁) ≈ f(xₖ) + ∇f(xₖ)·(xₖ₊₁−xₖ)。要让函数值下降,需要这一增量 ≤0,即 ∇f·Δx ≤0。取 Δx = −λ∇f(λ>0)时内积为 −λ‖∇f‖² ≤0,恒成立。于是得到迭代式:
xₖ₊₁ = xₖ − λ·∇f(xₖ)
过程:任取初始点 x₀;算梯度;若 ‖∇f‖<ε 则停;否则沿负梯度更新一步;再判断函数值变化或步长变化是否小于 ε,满足则停,否则继续。多维情况把梯度换成对各参数的偏导即可。
批量版的代价:每次迭代用全部 M 个样本算梯度,代价大;且一旦落到某个局部极小值,梯度为零、更新停止,非凸问题上无法脱身。此外步长 λ 很难定:太大容易越过最优点导致发散,太小收敛极慢。
随机版的改进:随机梯度下降法保持同一框架,改两处——把固定步长换成动态步长 λₖ(每轮解一个一维问题 min f(xₖ − λₖ∇f(xₖ)) 取最优步长);每次迭代只随机抽训练集的一部分样本算梯度。后者的作用在于:即使走到局部极小,下一步抽到不同样本仍可能把它推出去。代价是收敛略慢、迭代次数增多,最终得到的只是全局最优的一个近似。一句话:用少量精度换取结果的有效性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
两者的关系可以这样理解:随机梯度下降法以损失很小的一部分精确度和增加一定数量的迭代次数为代价,保证了迭代结果的有效性。
参考来源
- 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html)
- 结论依据:原文由一阶泰勒展开推出负梯度迭代式,给出算法步骤,再以步长与局部最优两个问题引出随机梯度下降的两点改进。
- 原始内容:两者的关系可以这样理解:随机梯度下降法以损失很小的一部分精确度和增加一定数量的迭代次数为代价,保证了迭代结果的有效性。