返回主题:线性模型与优化算法

知识卡片

普通读书笔记卡 · 3788.l

批量大小改变梯度估计代价

理解等级:高级

梯度下降沿目标函数的负梯度更新参数:θ ← θ − α·∂J/∂θ,其中梯度指向函数上升最快的方向,学习率 α(步长)决定单次改变量。三种做法的区别在于每次用多少样本估计梯度。

演示(补充):训练集 10000 个样本,

做法 每次更新用样本 遍历一轮更新次数
全批量 10000 1
小批量(100) 100 100
随机梯度 1 10000

全批量单次成本高而方向稳定;随机梯度单次便宜但方向波动大;小批量在计算和噪声间折中。特征尺度与学习率会影响训练过程,过大步长可越过低损失区。达到零梯度只表示驻点,还需区分极小、极大和鞍点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      若|▽i|≥ε,运行下一步更新所有的θ: 加快收敛的方法:特征缩放,在多特征问题中保证特征有相近的尺度将有利于梯度下降;通过调整学习率来更改收敛速度,学习率过小会导致梯度下降法收敛过慢,但过大也可能使得网络不能收敛。 目前已有多种梯度下降法,如下所述。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文区分批量、随机和小批量梯度下降,说明特征缩放与学习率大小的影响;图 19.10–19.11 展示局部极值和等高线。原书把零梯度简化成极值,卡片补明鞍点可能。更新式取自式(19-27);10000 样本的次数表为补充的教学演算,非书中数据。 - 原始内容:批量梯度下降法……在更新参数时候,使用所有的样本……随机梯度下降法……仅仅选取一个样本求解梯度……小批量梯度下降法……采用x个样本来迭代……学习率过小会导致梯度下降法收敛过慢,但过大也可能使得网络不能收敛。