知识卡片
梯度下降与最速下降法
优化指改变x以最小化或最大化目标函数,深度学习通常把最大化转化为最小化负函数来处理。导数f’(x)表示输入微小变化在输出上引起的缩放,因此沿导数的反方向移动一小步就能减小f,这是梯度下降的直观来源。多维情形下梯度是所有偏导数组成的向量,方向导数在单位向量u上的值可化为梯度与u的点积;当u与梯度方向相反时下降最快,故负梯度方向就是最速下降方向。迭代式x←x−ε∇f(x)中的ε是学习率,可取小常数、通过线搜索选取,或取使方向导数消失的值。梯度为零的点称临界点,可能是局部极小、局部极大或鞍点;深度学习函数常含大量非最优极小值与平坦鞍点,所以实践中接受代价显著低但并非严格最小的解。离散参数空间无法求梯度,类似的逐步改进思想对应爬山算法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 数值计算
原书出处 · 1 处
- 第4章 数值计算 · 查看原书依据
换句话说,梯度向量指向上坡,负梯度向量指向下坡。我们在负梯度方向上移动可以减小f。这被称为最速下降法 (method of steepest descent)或梯度下降 (gradient descent)。
参考来源
- 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html)
- 结论依据:原文从导数定义推到方向导数与梯度的点积,指出负梯度方向使方向导数最小,并给出学习率的多种选法以及临界点和近似最小化的讨论。
- 原始内容:换句话说,梯度向量指向上坡,负梯度向量指向下坡。我们在负梯度方向上移动可以减小f。这被称为最速下降法 (method of steepest descent)或梯度下降 (gradient descent)。