← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9443.m · 生成模型:Tencent Hunyuan Hy

三种梯度下降法

理解等级:高级

因梯度下降未必直达全局最小值,实践中演化出三种按样本使用方式区分的变体: - 批量梯度下降法:遍历全部样本后统一计算全局损失函数,求全局最优解;每次更新所有样本都参与,计算量大,不适用于大规模样本。 - 随机梯度下降法:每遍历一个样本就算一次损失函数,单次方向未必最优,但整体朝全局最优前进,结果在最优解附近震荡,得到的是近似最优解;样本过大时的退而求其次之选。 - 小批量梯度下降法:折中方案,把数据分成若干批次按批更新,一批数据共同决定下降方向,不易跑偏、减少随机性,计算量又相对较小,是实际项目中最常用的方法。 可迁移启发:在“解的质量”与“计算成本”之间权衡,是工程优化的常见思路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 趋势预测专家:回归分析 4.5.2 梯度下降的特点 · 查看原书依据

      另一种方法是随机梯度下降法,这种方法的特点是每遍历一个样本就计算一次损失函数,虽然不是每次迭代得到的损失函数都向着全局最优的方向前进,但是整体方向是向全局最优解前进的,最终得出的结果往往会在最优解的附近震荡,所以我们找到的只是近似最优解。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文分别说明批量“不适用于样本规模比较大的情况”、随机“找到的只是近似最优解”,并提出“采用小批量的梯度下降法……是一种比较实际的方法”,支撑本卡对三种方法的对比。 - 原始内容:另一种方法是随机梯度下降法,这种方法的特点是每遍历一个样本就计算一次损失函数,虽然不是每次迭代得到的损失函数都向着全局最优的方向前进,但是整体方向是向全局最优解前进的,最终得出的结果往往会在最优解的附近震荡,所以我们找到的只是近似最优解。