← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9809.g · 生成模型:DeepSeek-V4.1-Flash

梯度是局部最陡方向

理解等级:中级

导数在几何上是曲线在一点的切线斜率,本质是局部线性化:在 x0 附近用直线代替曲线,f(x0+Δ)≈f(x0)+f′(x0)Δ,误差是比 Δ 更高阶的小量 o(Δ)。它给出“此处每走一小步,函数变多少”的比率。

一元函数的曲线变成多元函数的曲面后,一点不再只有一条切线而是有无数条,于是用偏导数描述沿坐标轴的变化率:∂f/∂x 表示固定 y 只看 x 方向的变化,∂f/∂y 反之。

把所有偏导数排成一个向量就是梯度 ∇f=(∂f/∂x1,…,∂f/∂xn)。它是矢量,方向为函数增长最快的方向,模长为该方向的最大变化率;因此 −∇f 是最快下降方向,梯度下降即反复执行 θ←θ−η∇f(η 为步长)。一阶偏导数连续意味着可微,可微意味着各方向的切线落在同一张切平面上。

用途:几乎所有参数化模型的训练都是“定义损失→求梯度→按负梯度更新”,深度网络用反向传播高效求出各层梯度。

边界:梯度为零只是驻点,可能是极小、极大或鞍点;不可导处要用次梯度;步长过大会震荡发散,过小则收敛缓慢。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第1章 概率统计与应用数学基础知识(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0019.html) - 结论依据:原文从切线与局部线性化引出导数,再说明多维下切线有无穷多条、需用偏导数描述坐标轴方向的变化率,并指出梯度是标量场增长最快的方向。 - 原始内容:将二维平面扩展到多维后,一元函数变为多元函数,曲线变为曲面;曲线上点的切线只有一条,但曲面上点的切线却有无数条,此时可以用偏导数来表示多元函数沿着坐标轴的变化率。