知识卡片
梯度指向最陡上升方向
梯度是把每个偏导数排成向量:对 f(v) 的每个分量单独求“只让这一维微动时 f 变化多快”,其余维度冻结。这个向量同时编码两件事——长度是当前点的最大变化率,方向是变化最快的方向。于是最大化就沿梯度走一小步,最小化就沿反方向走,重复“算梯度—挪一步”直到梯度足够小。之所以成立,是因为一阶近似下 f(v+Δ)≈f(v)+梯度·Δ,沿梯度取 Δ 时这一项最大。代价是它只描述当前点附近:每一步只保证局部下降,既不保证落到全局最低点,也不告诉你该走多远,步长必须由外部给定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
对于这样的函数,梯度(在微积分中,这表示偏导数向量)给出了函数最快速增加的输入方向。如果你不记得微积分,请在网上搜索我们提到的关键词。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「对于这样的函数,梯度(在微积分中,这表示偏导数向量)给出了函数最快速增加的输入方……」
- 原始内容:对于这样的函数,梯度(在微积分中,这表示偏导数向量)给出了函数最快速增加的输入方向。如果你不记得微积分,请在网上搜索我们提到的关键词。