知识卡片
梯度下降只保局部
迭代法给出的是“从当前点看更好”的保证,不是全局保证。函数只有一个全局最低点时,这个过程可能找到它;有多个局部最低点时,可能停在其中某一个,补救办法是换几个随机起点重跑、比较结果;函数根本没有下界时,点会一路往下降、迭代不收敛。同理,起点是随机的,终止条件是“梯度足够小”或轮数上限,这两者只能说明“停在了平坦处”,不能证明“这就是最优”。判断结果可信与否,通常要结合对问题的先验、损失曲面的形状和多次重跑的一致性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
如果一个函数具有唯一的全局最小点,则此过程可能会找到它。如果函数具有多个(局部)最小点,则此过程可能“找到”一个局部最优解,在这种情况下,可以从不同的起点重新运行该过程。如果一个函数没有最小点,那么该过程可能会一直持续下去。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「如果一个函数具有唯一的全局最小点,则此过程可能会找到它……」
- 原始内容:如果一个函数具有唯一的全局最小点,则此过程可能会找到它。如果函数具有多个(局部)最小点,则此过程可能“找到”一个局部最优解,在这种情况下,可以从不同的起点重新运行该过程。如果一个函数没有最小点,那么该过程可能会一直持续下去。