知识卡片
步长只能靠实验确定
沿反方向前进是清楚的,走多远没有公式。主流做法三种:固定步长、随迭代逐渐缩小、每步选使目标最小的步长(线搜索)。第三种听起来最稳,但每步都要额外做一次优化,计算代价很大,所以实践中常用固定步长。合适的值与问题尺度直接相关:步长太小,梯度下降要迭代极多轮才收敛,看上去“永不停止”;步长太大,一步跨过谷底,目标值反而变大,甚至走到函数无定义的地方。换句话说,步长要和梯度的量级配合——梯度本身很大时,同样的步长就更危险,这也是后面要先对数据做缩放的原因之一。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
“合适”的步长取决于问题本身:步长太小,梯度下降将永不停止;步长太大,每步的跨度巨大,可能会使我们关心的方程变大或甚至无法定义。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「“合适”的步长取决于问题本身:步长太小,梯度下降将永不停止……」
- 原始内容:“合适”的步长取决于问题本身:步长太小,梯度下降将永不停止;步长太大,每步的跨度巨大,可能会使我们关心的方程变大或甚至无法定义。