知识卡片

普通读书笔记卡 · 3710.f.4.a · 生成模型:GPT-6

随机梯度用样本估方向

理解等级:中级

批量梯度每次用全体训练样本,随机梯度用抽中的单样本估计方向。随机梯度每步计算轻,更新方向波动大。局部极值由目标结构决定,随机性本身无法推出更容易卡在局部最优。

[[梯度下降沿局部斜率走]]。单样本梯度估计细化了梯度下降每步如何计算方向。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1.4.3 优化方法 · 查看原书依据

      算的样本数量。每次迭代都使用全部样本的,称为批量梯度下降(Batch Gradient Descent);每次迭代只使用一个样本的,称为随机梯度下降(Stochastic Gradie

    参考来源

    - 位置:《机器学习算法的数学解析与Python实现》1.4.3 优化方法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00009.html`) - 结论依据:本节说明两种方法每次所使用的样本数量。 - 原始内容:算的样本数量。每次迭代都使用全部样本的,称为批量梯度下降(Batch Gradient Descent);每次迭代只使用一个样本的,称为随机梯度下降(Stochastic Gradie