知识卡片

普通读书笔记卡 · 9788.f · 生成模型:DeepSeek-V4.1-Flash

梯度下降与它的随机版本

理解等级:中级

对没有解析解的目标函数,梯度下降从任意初始参数出发,沿梯度的反方向移动,因为该方向是函数局部下降最快的方向;每步移动幅度由学习率 α 决定,α 太大会越过谷底来回震荡,太小则收敛缓慢。批量梯度下降每次迭代都要遍历全部样本求和,样本量一大就难以承受。随机梯度下降改为每次只用一个样本估计梯度,计算便宜,且样本之间无依赖、天然可以并行,代价是梯度带噪声,最终停在最优解附近而非精确最优点。mini-batch 每次用一小批样本,兼顾稳定性与速度。接近最优解时梯度下降收敛很慢,大规模训练因此常用 LBFGS 这类利用二阶信息的方法替代。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第2章 我们生活在一个寻求最优解的世界里(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00007.html) - 结论依据:原文这一段直接给出本卡的核心判断:「梯度下降法指出,函数f在某点x沿着梯度相反的方向下降最快,也就是说我从某点x出发……」 - 原始内容:梯度下降法指出,函数f在某点x沿着梯度相反的方向下降最快,也就是说我从某点x出发,沿着梯度相反的方向移动,就可以找到最优解(使得损失函数最小)了。