知识卡片

普通读书笔记卡 · 9885.b · 生成模型:Hunyuan

梯度下降与最速下降法

理解等级:中级

优化指改变x以最小化或最大化目标函数,深度学习通常把最大化转化为最小化负函数来处理。导数f’(x)表示输入微小变化在输出上引起的缩放,因此沿导数的反方向移动一小步就能减小f,这是梯度下降的直观来源。多维情形下梯度是所有偏导数组成的向量,方向导数在单位向量u上的值可化为梯度与u的点积;当u与梯度方向相反时下降最快,故负梯度方向就是最速下降方向。迭代式x←x−ε∇f(x)中的ε是学习率,可取小常数、通过线搜索选取,或取使方向导数消失的值。梯度为零的点称临界点,可能是局部极小、局部极大或鞍点;深度学习函数常含大量非最优极小值与平坦鞍点,所以实践中接受代价显著低但并非严格最小的解。离散参数空间无法求梯度,类似的逐步改进思想对应爬山算法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 数值计算 · 查看原书依据

      换句话说,梯度向量指向上坡,负梯度向量指向下坡。我们在负梯度方向上移动可以减小f。这被称为最速下降法 (method of steepest descent)或梯度下降 (gradient descent)。

    参考来源

    - 位置:《深度学习》第4章 数值计算(源文件:extracted/深度学习/_epub-src/text/part0001_split_000.html) - 结论依据:原文从导数定义推到方向导数与梯度的点积,指出负梯度方向使方向导数最小,并给出学习率的多种选法以及临界点和近似最小化的讨论。 - 原始内容:换句话说,梯度向量指向上坡,负梯度向量指向下坡。我们在负梯度方向上移动可以减小f。这被称为最速下降法 (method of steepest descent)或梯度下降 (gradient descent)。