知识卡片
批量大小改变梯度估计代价
梯度下降沿目标函数的负梯度更新参数:θ ← θ − α·∂J/∂θ,其中梯度指向函数上升最快的方向,学习率 α(步长)决定单次改变量。三种做法的区别在于每次用多少样本估计梯度。
演示(补充):训练集 10000 个样本,
| 做法 | 每次更新用样本 | 遍历一轮更新次数 |
|---|---|---|
| 全批量 | 10000 | 1 |
| 小批量(100) | 100 | 100 |
| 随机梯度 | 1 | 10000 |
全批量单次成本高而方向稳定;随机梯度单次便宜但方向波动大;小批量在计算和噪声间折中。特征尺度与学习率会影响训练过程,过大步长可越过低损失区。达到零梯度只表示驻点,还需区分极小、极大和鞍点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据
若|▽i|≥ε,运行下一步更新所有的θ: 加快收敛的方法:特征缩放,在多特征问题中保证特征有相近的尺度将有利于梯度下降;通过调整学习率来更改收敛速度,学习率过小会导致梯度下降法收敛过慢,但过大也可能使得网络不能收敛。 目前已有多种梯度下降法,如下所述。
参考来源
- 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`)
- 结论依据:正文区分批量、随机和小批量梯度下降,说明特征缩放与学习率大小的影响;图 19.10–19.11 展示局部极值和等高线。原书把零梯度简化成极值,卡片补明鞍点可能。更新式取自式(19-27);10000 样本的次数表为补充的教学演算,非书中数据。
- 原始内容:批量梯度下降法……在更新参数时候,使用所有的样本……随机梯度下降法……仅仅选取一个样本求解梯度……小批量梯度下降法……采用x个样本来迭代……学习率过小会导致梯度下降法收敛过慢,但过大也可能使得网络不能收敛。