← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9826.i · 生成模型:DeepSeek-V4.1-Flash

K近邻的适用边界

理解等级:中级

优点

  • 简单。没有训练过程,没有需要解释的参数,几行代码就能跑通,适合作为任何分类任务的第一个基线。
  • 天然多分类。多分类不需要额外策略(不必 one-vs-rest),投票机制直接支持任意类别数。
  • 对异常值不大敏感。单个离群点只占一票,只要 K 不为 1,它的影响被投票稀释。
  • 无数据输入假定。不假设特征独立、不假设分布形状、不假设边界线性。

缺点

  • 精度一般。原文的判断很直接:对大部分问题比不上基于树的方法。它给出的是一块块局部常数区域,边界呈锯齿状,无法表达平滑或高维的复杂边界。
  • 类别区域重叠时精度很低。当不同类别的样本在特征空间里混在一起,最近邻本身就没有区分力,投票只会给出一个接近随机的答案。
  • 预测成本高。即便只分类一个样本也要算遍所有数据,因此在大数据环境下很不适应;这也正是 KD 树、BallTree 存在的理由。

适合的场景:小样本量、精度要求不高的任务;不能一次性拿到全部训练样本、需要边收边用的任务(新样本随时可以答,无需重训)。

三个必须守住的前提(原文在注意点里点明的三个关键参数):

  1. 归一化。不先归一化,特征取值范围相差大时会发生距离偏移,最终结果受很大影响。这一条最容易被跳过,也最容易造成无声的性能损失。
  2. K 值。太小对噪声样本非常敏感,太大则计算量变得很大,需要按数据量权衡(见[[K值的偏差方差权衡]])。
  3. 距离度量。这是核心,一般使用最多的还是欧氏距离(见[[距离度量与归一化]])。

一句话取舍:K 近邻用”什么都不假设”换来了实现的简单和使用的灵活,代价是把全部成本压到预测阶段,并且精度上限受制于”局部相似即同类”这条朴素信念。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.7 小结(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文在小结中列出四条优点、三条缺点、两类适用场景,并指出归一化、K 值、距离度量三个参数对结果影响较大。 - 原始内容:K近邻有3个参数对结果影响较大,一个是数据归一化,另一个是K值的选择,还有一个是距离的度量方式。……如果不先对数据进行归一化,那么当多个特征的取值范围相差较大时,就会发生距离偏移,最终结果也会受到很大影响。