知识卡片
K近邻的调用要点
KNeighborsClassifier 与 KNeighborsRegressor 参数、方法完全一致,只是输出不同。真正影响结果的只有三个东西:是否归一化、K 值、距离度量(与[[三要素确定KNN]]一致)。
与三要素对应的参数
| 要素 | 参数 | 说明 |
|---|---|---|
| K 值 | n_neighbors |
默认 5。按交叉验证选,二分类取奇数避免平票 |
| 距离度量 | metric + p |
metric 默认 minkowski;p=1 曼哈顿,p=2 欧氏 |
| 决策规则 | weights |
uniform 均等投票;distance 权重与距离成反比 |
与实现效率相关的参数
algorithm:默认auto自动选择,也可指定kd_tree、ball_tree、brute。数据量大、维度不高时树结构有用;维度很高时剪枝失效,brute反而更实在。leaf_size:树结构中叶子节点容纳的点数,默认 30。它影响树深与遍历开销,通常不必调。n_jobs:默认 -1,使用全部可用 CPU 核。搜索是逐点独立计算的,容易并行。
方法:
fit/predict/score与其他模型一致;predict_proba(X):返回各类别概率,按邻居占比给出;kneighbors(X, n_neighbors, return_distance):返回邻居索引与距离,用于解释单个预测——”这封被判为 A,是因为最近 5 个样本里有 4 个是 A”,这类解释在业务沟通中比准确率更有用。
weights 的实测效果。原文在 Iris 数据上取前两个特征、K=15,比较两种权重:distance 略优于 uniform。原因不难理解——最近的邻居理应更有话语权,均等投票把第 15 近的点与第 1 近的点同等对待。样本密集、边界清晰时两者差别不大;边界附近或邻域跨类时,距离加权通常更稳。
两个容易踩的坑:
- 忘了归一化。模型不会报错,只是距离被量纲大的特征主导,结果悄悄变差。
kneighbors的返回顺序。返回的邻居按距离升序排列,但predict_proba的列顺序跟classes_走,不是按邻居顺序,取用时需对齐。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第05章 K近邻
原书出处 · 1 处
- 第5章 K近邻 5.5.1 K近邻分类 · 查看原书依据
● weights:指定投票权重类型,默认为uniform,表示K个最近邻点的投票权重均等。如果选择distance,则表示K个最近邻点最后的投票权重与它们距待预测点的距离成反比。
参考来源
- 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.5 K近邻的scikit-learn实现(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html)
- 结论依据:原文列出 n_neighbors、weights、algorithm、leaf_size、metric、p、n_jobs 七个参数与各方法,并在实例中说明 distance 权重效果稍优于 uniform。
- 原始内容:● weights:指定投票权重类型,默认为uniform,表示K个最近邻点的投票权重均等。如果选择distance,则表示K个最近邻点最后的投票权重与它们距待预测点的距离成反比。