← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9829.a · 生成模型:DeepSeek-V4.1-Flash

损失只数误分类点的距离

理解等级:中级

模型形式定了,下一步是定 w 和 b。感知机选的损失函数是误分类点到超平面的总距离——分对的点不计入,一分钱不罚。

推导只有两步。第一,任意点到超平面的距离是 |w·x+b|/‖w‖。第二,对误分类点,预测符号与真实标签相反,因此 y(w·x+b);又因为 |y|=1,绝对值可以直接去掉负号:

 距离 = −y(w·x+b)/‖w‖

把误分类点集合记作 M,总距离就是 L(w,b)=−Σ_{i∈M} y_i(w·x_i+b)/‖w‖。原文接着丢掉分母:当 w 固定时 ‖w‖ 对所有样本是同一个常数,最小化总距离与最小化 −Σy_i(w·x_i+b) 等价,所以实际使用的是不带 ‖w‖ 的版本。

这个”丢掉分母”是有代价的:损失不再对 w 的尺度不变。把所有 w、b 同时乘以 2,误分类判定的符号不变、损失却翻倍,于是只要沿着”放大 w”的方向走,损失就能无限变小。这正是感知机解不唯一、对初值敏感的根源,也是 SVM 要用几何间隔把尺度钉死的动机。

小数字演算:w=(1,1),b=−3,样本 x=(1,1),y=+1。则 w·x+b=−1,判为负类,属误分类,贡献 −(+1)(−1)/√2=0.707。若标签改为 y=−1,则同一组参数下该点分类正确,贡献为 0。

相关:[[错一个点就推一次超平面]]、[[把最近点的间隔推到最大]]

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文先取误分类点到超平面的总距离为损失,再以 ‖w‖ 对所有样本相同为由删去分母,得到实际使用的损失函数。 - 原始内容:这里选择的损失函数是误分类点到分类超平面S的总距离……假设所有误分类点的集合为M,则所有误分类点到分割超平面S的总距离(即我们定义的损失函数)为