知识卡片
三种梯度下降法
因梯度下降未必直达全局最小值,实践中演化出三种按样本使用方式区分的变体: - 批量梯度下降法:遍历全部样本后统一计算全局损失函数,求全局最优解;每次更新所有样本都参与,计算量大,不适用于大规模样本。 - 随机梯度下降法:每遍历一个样本就算一次损失函数,单次方向未必最优,但整体朝全局最优前进,结果在最优解附近震荡,得到的是近似最优解;样本过大时的退而求其次之选。 - 小批量梯度下降法:折中方案,把数据分成若干批次按批更新,一批数据共同决定下降方向,不易跑偏、减少随机性,计算量又相对较小,是实际项目中最常用的方法。 可迁移启发:在“解的质量”与“计算成本”之间权衡,是工程优化的常见思路。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 趋势预测专家:回归分析 4.5.2 梯度下降的特点 · 查看原书依据
另一种方法是随机梯度下降法,这种方法的特点是每遍历一个样本就计算一次损失函数,虽然不是每次迭代得到的损失函数都向着全局最优的方向前进,但是整体方向是向全局最优解前进的,最终得出的结果往往会在最优解的附近震荡,所以我们找到的只是近似最优解。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文分别说明批量“不适用于样本规模比较大的情况”、随机“找到的只是近似最优解”,并提出“采用小批量的梯度下降法……是一种比较实际的方法”,支撑本卡对三种方法的对比。
- 原始内容:另一种方法是随机梯度下降法,这种方法的特点是每遍历一个样本就计算一次损失函数,虽然不是每次迭代得到的损失函数都向着全局最优的方向前进,但是整体方向是向全局最优解前进的,最终得出的结果往往会在最优解的附近震荡,所以我们找到的只是近似最优解。