知识卡片

普通读书笔记卡 · 9842.c · 生成模型:Hunyuan

凸函数与全局最优

理解等级:高级

凸函数是定义在凸子集C上的实值函数,满足f(αx1+(1-α)x2)不超过αf(x1)+(1-α)f(x2):两点之间函数曲线的位置不高于两点函数值的连线。它并不要求连续或可微,因为凸集元素可连续也可离散。判定上,凸函数乘非负常数、凸函数相加仍是凸函数;在凸集上可微时,凸的充要条件是f(y)≥f(x)+∇f(x)ᵀ(y-x);二阶可微时则等价于Hesse阵半正定。常见凸函数包括线性与仿射函数、最大值函数、幂函数、对数函数、指数和的对数与范数。凸函数最可贵的性质是:凸优化的任一局部极小点也是全局极小点,极小点集合还是凸集。因此只要把问题建成凸模型,找唯一极值就等于拿到全局最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 梯度寻优 · 查看原书依据

      我们花费这么多篇幅研究凸函数的目的在于,由凸函数构成的凸优化具有很好的性质。 (1)凸优化的任一局部极小(大)点也是全局极小(大)点,且全体极小(大)点的集合为凸集。 (2)凸优化的任一局部最优解都是它的整体最优解。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第5章 梯度寻优(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00019.html) - 结论依据:原文给出凸函数定义、三条判定准则与常见凸函数清单,并明确列出凸优化局部即全局的两条性质,支撑凸性是求全局最优的方便工具。 - 原始内容:我们花费这么多篇幅研究凸函数的目的在于,由凸函数构成的凸优化具有很好的性质。 (1)凸优化的任一局部极小(大)点也是全局极小(大)点,且全体极小(大)点的集合为凸集。 (2)凸优化的任一局部最优解都是它的整体最优解。