← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9842.h · 生成模型:Hunyuan

梯度下降的方向与步长

理解等级:中级

求非线性目标函数的极小值时,关键问题是误差沿哪个方向下降最快,答案是导数方向,在多元情形中称为梯度。函数f在xₖ处的梯度∇f(x)由各分量的偏导数构成,其方向是f增长最快的方向,负梯度方向则是f减少最快的方向。梯度法早在1847年由柯西提出,是求解无约束多元函数极值最早的数值方法,也是许多机器学习算法的共同框架。算法从任意初值x₀出发,沿负梯度方向搜索,引入步长ρₖ表示每步走的长度,迭代式为xₖ₊₁=xₖ+ρₖ∇⁽ᵏ⁾,其中∇⁽ᵏ⁾是负梯度搜索方向的单位向量;所有xₖ组成的序列在一定条件下收敛到极小解。步长直接决定收敛:选得太小每步挪动微弱、收敛慢,选得太大则可能越过最小点导致发散。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      在多元的情况下,目标函数f(x)在某点xk 的梯度▽f(x)是由x的各个分量的偏导数构成的一个向量,其方向是f(x)增长最快的方向。显然,负梯度方向是f(x)减少最快的方向。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文定义梯度为增长最快方向、负梯度为减少最快方向,给出步长ρₖ与迭代公式,并指出步长过小或过大分别导致慢收敛与发散。 - 原始内容:在多元的情况下,目标函数f(x)在某点xk 的梯度▽f(x)是由x的各个分量的偏导数构成的一个向量,其方向是f(x)增长最快的方向。显然,负梯度方向是f(x)减少最快的方向。