知识卡片
K近邻的适用边界
优点
- 简单。没有训练过程,没有需要解释的参数,几行代码就能跑通,适合作为任何分类任务的第一个基线。
- 天然多分类。多分类不需要额外策略(不必 one-vs-rest),投票机制直接支持任意类别数。
- 对异常值不大敏感。单个离群点只占一票,只要 K 不为 1,它的影响被投票稀释。
- 无数据输入假定。不假设特征独立、不假设分布形状、不假设边界线性。
缺点
- 精度一般。原文的判断很直接:对大部分问题比不上基于树的方法。它给出的是一块块局部常数区域,边界呈锯齿状,无法表达平滑或高维的复杂边界。
- 类别区域重叠时精度很低。当不同类别的样本在特征空间里混在一起,最近邻本身就没有区分力,投票只会给出一个接近随机的答案。
- 预测成本高。即便只分类一个样本也要算遍所有数据,因此在大数据环境下很不适应;这也正是 KD 树、BallTree 存在的理由。
适合的场景:小样本量、精度要求不高的任务;不能一次性拿到全部训练样本、需要边收边用的任务(新样本随时可以答,无需重训)。
三个必须守住的前提(原文在注意点里点明的三个关键参数):
- 归一化。不先归一化,特征取值范围相差大时会发生距离偏移,最终结果受很大影响。这一条最容易被跳过,也最容易造成无声的性能损失。
- K 值。太小对噪声样本非常敏感,太大则计算量变得很大,需要按数据量权衡(见[[K值的偏差方差权衡]])。
- 距离度量。这是核心,一般使用最多的还是欧氏距离(见[[距离度量与归一化]])。
一句话取舍:K 近邻用”什么都不假设”换来了实现的简单和使用的灵活,代价是把全部成本压到预测阶段,并且精度上限受制于”局部相似即同类”这条朴素信念。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第05章 K近邻
原书出处 · 1 处
- 第5章 K近邻 5.7 小结 · 查看原书依据
如果不先对数据进行归一化,那么当多个特征的取值范围相差较大时,就会发生距离偏移,最终结果也会受到很大影响。
参考来源
- 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.7 小结(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html)
- 结论依据:原文在小结中列出四条优点、三条缺点、两类适用场景,并指出归一化、K 值、距离度量三个参数对结果影响较大。
- 原始内容:K近邻有3个参数对结果影响较大,一个是数据归一化,另一个是K值的选择,还有一个是距离的度量方式。……如果不先对数据进行归一化,那么当多个特征的取值范围相差较大时,就会发生距离偏移,最终结果也会受到很大影响。