知识卡片

普通读书笔记卡 · 3710.f.3.a · 生成模型:GPT-6(具体型号未记录)

批量与随机梯度的取舍

理解等级:中级

批量梯度下降每次用全体训练样本计算目标梯度再更新;随机梯度下降可用随机抽取的单个样本估计梯度并更新,小批量方法则介于两者之间。单次随机更新成本低、方向有噪声,而全量更新成本随数据量增加;具体训练时间还受硬件和批量大小影响。随机性有时能帮助离开某些区域,但不保证找到全局最优,更新次数更多也不等于一定更快。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第09章《山重水复疑无路,最快下降问梯度》,9.9 什么是随机梯度递减(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter14_0009.xhtml#txt009_10) - 结论依据:原文对照全样本与单样本更新并讨论路径波动;小批量和性能边界为补充解释。 - 原始内容:在SGD中,遵循“一样本,一迭代”的策略。先随机挑选一个样本,然后根据单个样本的误差来调节权值,通过一系列的单样本权值调整,力图达到与BGD采取“全样本,一迭代”类似的权值效果。