知识卡片
损失只数误分类点的距离
模型形式定了,下一步是定 w 和 b。感知机选的损失函数是误分类点到超平面的总距离——分对的点不计入,一分钱不罚。
推导只有两步。第一,任意点到超平面的距离是 |w·x+b|/‖w‖。第二,对误分类点,预测符号与真实标签相反,因此 y(w·x+b);又因为 |y|=1,绝对值可以直接去掉负号:
距离 = −y(w·x+b)/‖w‖
把误分类点集合记作 M,总距离就是 L(w,b)=−Σ_{i∈M} y_i(w·x_i+b)/‖w‖。原文接着丢掉分母:当 w 固定时 ‖w‖ 对所有样本是同一个常数,最小化总距离与最小化 −Σy_i(w·x_i+b) 等价,所以实际使用的是不带 ‖w‖ 的版本。
这个”丢掉分母”是有代价的:损失不再对 w 的尺度不变。把所有 w、b 同时乘以 2,误分类判定的符号不变、损失却翻倍,于是只要沿着”放大 w”的方向走,损失就能无限变小。这正是感知机解不唯一、对初值敏感的根源,也是 SVM 要用几何间隔把尺度钉死的动机。
小数字演算:w=(1,1),b=−3,样本 x=(1,1),y=+1。则 w·x+b=−1,判为负类,属误分类,贡献 −(+1)(−1)/√2=0.707。若标签改为 y=−1,则同一组参数下该点分类正确,贡献为 0。
相关:[[错一个点就推一次超平面]]、[[把最近点的间隔推到最大]]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.1.2 感知机学习策略 · 查看原书依据
这里选择的损失函数是误分类点到分类超平面S的总距离
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文先取误分类点到超平面的总距离为损失,再以 ‖w‖ 对所有样本相同为由删去分母,得到实际使用的损失函数。
- 原始内容:这里选择的损失函数是误分类点到分类超平面S的总距离……假设所有误分类点的集合为M,则所有误分类点到分割超平面S的总距离(即我们定义的损失函数)为