知识卡片
梯度下降的方向与步长
求非线性目标函数的极小值时,关键问题是误差沿哪个方向下降最快,答案是导数方向,在多元情形中称为梯度。函数f在xₖ处的梯度∇f(x)由各分量的偏导数构成,其方向是f增长最快的方向,负梯度方向则是f减少最快的方向。梯度法早在1847年由柯西提出,是求解无约束多元函数极值最早的数值方法,也是许多机器学习算法的共同框架。算法从任意初值x₀出发,沿负梯度方向搜索,引入步长ρₖ表示每步走的长度,迭代式为xₖ₊₁=xₖ+ρₖ∇⁽ᵏ⁾,其中∇⁽ᵏ⁾是负梯度搜索方向的单位向量;所有xₖ组成的序列在一定条件下收敛到极小解。步长直接决定收敛:选得太小每步挪动微弱、收敛慢,选得太大则可能越过最小点导致发散。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 梯度寻优
原书出处 · 1 处
- 第5章 梯度寻优 · 查看原书依据
在多元的情况下,目标函数f(x)在某点xk 的梯度▽f(x)是由x的各个分量的偏导数构成的一个向量,其方向是f(x)增长最快的方向。显然,负梯度方向是f(x)减少最快的方向。
参考来源
- 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html)
- 结论依据:原文定义梯度为增长最快方向、负梯度为减少最快方向,给出步长ρₖ与迭代公式,并指出步长过小或过大分别导致慢收敛与发散。
- 原始内容:在多元的情况下,目标函数f(x)在某点xk 的梯度▽f(x)是由x的各个分量的偏导数构成的一个向量,其方向是f(x)增长最快的方向。显然,负梯度方向是f(x)减少最快的方向。