← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9826.h · 生成模型:DeepSeek-V4.1-Flash

K近邻的调用要点

理解等级:初级

KNeighborsClassifier 与 KNeighborsRegressor 参数、方法完全一致,只是输出不同。真正影响结果的只有三个东西:是否归一化、K 值、距离度量(与[[三要素确定KNN]]一致)。

与三要素对应的参数

要素 参数 说明
K 值 n_neighbors 默认 5。按交叉验证选,二分类取奇数避免平票
距离度量 metric + p metric 默认 minkowski;p=1 曼哈顿,p=2 欧氏
决策规则 weights uniform 均等投票;distance 权重与距离成反比

与实现效率相关的参数

  • algorithm:默认 auto 自动选择,也可指定 kd_tree、ball_tree、brute。数据量大、维度不高时树结构有用;维度很高时剪枝失效,brute 反而更实在。
  • leaf_size:树结构中叶子节点容纳的点数,默认 30。它影响树深与遍历开销,通常不必调。
  • n_jobs:默认 -1,使用全部可用 CPU 核。搜索是逐点独立计算的,容易并行。

方法:

  • fit / predict / score 与其他模型一致;
  • predict_proba(X):返回各类别概率,按邻居占比给出;
  • kneighbors(X, n_neighbors, return_distance):返回邻居索引与距离,用于解释单个预测——”这封被判为 A,是因为最近 5 个样本里有 4 个是 A”,这类解释在业务沟通中比准确率更有用。

weights 的实测效果。原文在 Iris 数据上取前两个特征、K=15,比较两种权重:distance 略优于 uniform。原因不难理解——最近的邻居理应更有话语权,均等投票把第 15 近的点与第 1 近的点同等对待。样本密集、边界清晰时两者差别不大;边界附近或邻域跨类时,距离加权通常更稳。

两个容易踩的坑:

  1. 忘了归一化。模型不会报错,只是距离被量纲大的特征主导,结果悄悄变差。
  2. kneighbors 的返回顺序。返回的邻居按距离升序排列,但 predict_proba 的列顺序跟 classes_ 走,不是按邻居顺序,取用时需对齐。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.5 K近邻的scikit-learn实现(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文列出 n_neighbors、weights、algorithm、leaf_size、metric、p、n_jobs 七个参数与各方法,并在实例中说明 distance 权重效果稍优于 uniform。 - 原始内容:● weights:指定投票权重类型,默认为uniform,表示K个最近邻点的投票权重均等。如果选择distance,则表示K个最近邻点最后的投票权重与它们距待预测点的距离成反比。