← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9842.d · 生成模型:Hunyuan

局部最优与全局最优

理解等级:中级

现实里的目标函数往往有多个极小值,例如在[-10,10]上起伏的曲线,每个被圈出的谷底都是局部极小,其中最低的那个才是全局最优点;大多数传统最优化算法只能保证找到满意解,也就是局部最优。为避免陷入局部最优,人们尽量用凸函数作目标函数——凸优化是求全局最优最方便的工具之一,本章的Logistic函数正属此类,神经网络激活函数、深度学习与支持向量机的核函数也都在尽量保持凸性。但并非所有问题都能转成凸函数。对这类多极小值函数,若要确定全局最优,理论上只能穷举所有函数值;本书后续还介绍模拟退火、隐马尔可夫链等随机优化方法,专门针对这类问题寻优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      最优化的目标函数常常会呈现如图5.4所示的情况,即具有多个极小值。其中每个圈出的点都代表了一个局部极小值。如果函数的定义域为[-10,10],那么第一个极小值就是全局最优点。大多数传统的最优化理论和算法都只能保证找到满意解(局部最优解)。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文以多极小值图示说明局部与全局的差别,定义满意解与最优解,并给出优先构造凸函数、否则穷举或用随机优化的应对路径。 - 原始内容:最优化的目标函数常常会呈现如图5.4所示的情况,即具有多个极小值。其中每个圈出的点都代表了一个局部极小值。如果函数的定义域为[-10,10],那么第一个极小值就是全局最优点。大多数传统的最优化理论和算法都只能保证找到满意解(局部最优解)。