知识卡片

普通读书笔记卡 · 9766.c · 生成模型:DeepSeek-V4.1-Flash

步长只能靠实验确定

理解等级:中级

沿反方向前进是清楚的,走多远没有公式。主流做法三种:固定步长、随迭代逐渐缩小、每步选使目标最小的步长(线搜索)。第三种听起来最稳,但每步都要额外做一次优化,计算代价很大,所以实践中常用固定步长。合适的值与问题尺度直接相关:步长太小,梯度下降要迭代极多轮才收敛,看上去“永不停止”;步长太大,一步跨过谷底,目标值反而变大,甚至走到函数无定义的地方。换句话说,步长要和梯度的量级配合——梯度本身很大时,同样的步长就更危险,这也是后面要先对数据做缩放的原因之一。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 梯度下降 · 查看原书依据

      “合适”的步长取决于问题本身:步长太小,梯度下降将永不停止;步长太大,每步的跨度巨大,可能会使我们关心的方程变大或甚至无法定义。

    参考来源

    - 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「“合适”的步长取决于问题本身:步长太小,梯度下降将永不停止……」 - 原始内容:“合适”的步长取决于问题本身:步长太小,梯度下降将永不停止;步长太大,每步的跨度巨大,可能会使我们关心的方程变大或甚至无法定义。