← 返回刚才阅读的位置

知识卡片

结构图卡 · 9829.c · 生成模型:DeepSeek-V4.1-Flash

把最近点的间隔推到最大

理解等级:中级

感知机只要求”分对”,能分的超平面有无穷多个;SVM 追加一条要求:离超平面最近的那个点,也要离得足够远。于是无数个可行解里只剩一个”最居中”的解。

要先分清两个量,它们只差一个 ‖w‖:

名称 定义 性质
函数间隔 ŷ_i = y_i(w·x_i+b) 分对时为正;同时放大 w、b 会等比例变大,不是真正的距离
几何间隔 γ_i = y_i(w·x_i+b)/‖w‖ 真正的欧氏距离,缩放 w、b 不变

把数据集里最小的几何间隔取出来,记为 γ=min_i γ_i,它就是”整个数据集到超平面的间隔”。SVM 的目标是 max γ,约束是所有点都被正确分开(即 γ_i≥γ)。

关键一步是消掉尺度自由度:w 和 b 同乘一个正数,超平面不动、几何间隔也不动,所以可以强行规定最近的点的函数间隔等于 1(原文:取 γ̂=1)。此时 γ=1/‖w‖,最大化 γ 就等价于最小化 ‖w‖,习惯上写成带平方的凸形式:

 min ½‖w‖² s.t. y_i(w·x_i+b)≥1, i=1,…,M

为什么写成 ½‖w‖² 而不是 ‖w‖:平方后目标函数可微、是严格凸二次函数,约束是线性的,整个问题成为凸二次规划,有唯一全局最优解,也才能顺利推导对偶。这是”最小化范数 = 最大化间隔”这一等价关系的全部意义——它把一个几何愿望翻译成了一个标准优化问题。

代价:约束 y_i(w·x_i+b)≥1 要求严格线性可分,一个噪声点就能让问题无解,这直接催生了 [[给每个点一条可伸缩的边界]]。

结构图:

flowchart LR
    A[点到超平面的距离] --> B[除以 ‖w‖ 得几何间隔]
    B --> C[取全体最小值得数据集间隔 γ]
    C --> D[最大化 γ 且全部分对]
    D --> E[固定最近点函数间隔为 1]
    E --> F[γ = 1/‖w‖]
    F --> G[最小化 ½‖w‖²]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文先定义几何间隔并取最小值作为数据集间隔,再以"函数间隔取值不影响优化问题"为由令其为 1,把最大化间隔改写为最小化 ‖w‖ 的约束问题。 - 原始内容:SVM模型和感知机模型一样,也是一种二分类模型。SVM模型的思想是:不仅要让样本点被分割超平面分开,还希望那些离分割超平面最近的点到分割超平面的距离最小。