知识卡片
随机梯度用样本估方向
批量梯度每次用全体训练样本,随机梯度用抽中的单样本估计方向。随机梯度每步计算轻,更新方向波动大。局部极值由目标结构决定,随机性本身无法推出更容易卡在局部最优。
[[梯度下降沿局部斜率走]]。单样本梯度估计细化了梯度下降每步如何计算方向。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1.4.3 优化方法 · 查看原书依据
算的样本数量。每次迭代都使用全部样本的,称为批量梯度下降(Batch Gradient Descent);每次迭代只使用一个样本的,称为随机梯度下降(Stochastic Gradie
参考来源
- 位置:《机器学习算法的数学解析与Python实现》1.4.3 优化方法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00009.html`)
- 结论依据:本节说明两种方法每次所使用的样本数量。
- 原始内容:算的样本数量。每次迭代都使用全部样本的,称为批量梯度下降(Batch Gradient Descent);每次迭代只使用一个样本的,称为随机梯度下降(Stochastic Gradie