知识卡片
错一个点就推一次超平面
对上面的损失做随机梯度下降,得到的更新规则出奇地简单:每次从训练集里挑一个被误分类的点 (x_i,y_i),就让超平面朝它”挪一步”:
w ← w + η·y_i·x_i b ← b + η·y_i
其中 0<η≤1 是学习率(步长)。为什么是这个方向?损失对 w 的梯度是 −Σy_i x_i,只取一个误分类点做随机梯度下降,就得到上式;对 b 求梯度同理得 −Σy_i。所以”沿负梯度走”在这条规则里表现为”把 w 往 y_i x_i 的方向加一点”。
几何上看会更直观:负类点被误判时 y_i=−1,更新把 w、b 一起减掉 x_i 与 1,超平面被推向该点那一侧,直到它落到正确的一侧。分对的点不触发任何更新,所以整个训练过程由”错在哪”驱动。
两个必须知道的边界:
- 解不唯一。初始 w、b 不同,最后停下来的超平面也可能不同;任何能把两类分开的超平面都是合法终点。数据线性可分时算法在有限步内收敛(Novikoff 定理),但不保证是”最好的”那个。
- 线性不可分时不收敛。误分类点永远消不完,w、b 会来回震荡。另外它只做二分类。
这两条缺点正好是第 8.2 节引入最大间隔、第 8.3 节引入软间隔的出发点。
结构图:
flowchart TD
A[初始化 w、b 与学习率 η] --> B[取一个样本 xi, yi]
B --> C{yi·(w·xi+b) < 0 ?}
C -->|是 误分类| D[w ← w+ηyi·xi<br/>b ← b+ηyi]
D --> B
C -->|否 分对| E{还有误分类点?}
E -->|有| B
E -->|没有| F[输出 sign(w·x+b)]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.1.3 感知机优化算法 · 查看原书依据
感知机模型的基本思想是:先随机选择一个超平面对样本点进行划分
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文给出误分类点触发的 w、b 迭代式与"超平面向误分类点一侧移动"的解释,并指出初值不同会导致多个可行超平面、线性不可分时不收敛。
- 原始内容:感知机模型的基本思想是:先随机选择一个超平面对样本点进行划分,然后当一个实例点被误分类,即位于分类超平面错误的一侧时,则调整w和b,使分类超平面向该误分类点的一侧移动,直至超平面越过该误分类点为止。