知识卡片
三要素确定KNN
K 近邻的全部自由度为三样东西:K 值、距离度量、分类决策规则。这三者一旦定下,任何新样本的类别就被唯一确定,没有别的可调之处。
| 要素 | 回答的问题 | 改变它会怎样 |
|---|---|---|
| K 值 | 看多远 | 小 → 只信最近点,对噪声敏感;大 → 平滑但纳入远点。见[[K值的偏差方差权衡]] |
| 距离度量 | 谁算”近” | 换度量等于换空间几何,最近邻集合可能完全不同。见[[距离度量与归一化]] |
| 决策规则 | 邻居意见怎么合成 | 投票(分类)或平均(回归)。见[[多数表决等价风险最小]] |
为什么正好是这三个。K 近邻没有需要拟合的参数,它的”模型”完全由这三个选择刻画:邻域大小决定模型的复杂度,距离定义决定样本之间的相近关系,合成规则决定如何从局部信息得到输出。确定它们之后,预测是一条确定性流程:
- 按选定距离,在训练集中找出与待预测点最近的 K 个点,构成邻域 N_k;
- 按决策规则合成输出:分类取 N_k 中占多数的类别,回归取 N_k 中输出值的平均。
回归只换第三要素。K 近邻回归与分类的前两个要素完全一致,只是把”统计类别、取最多的”换成”取均值”(见[[回归改为取均值]])。所以一个已经实现好的搜索结构(如 KD 树)在分类和回归上可以复用,只有最后一步不同。
边界:三要素之外还有一件不算”参数”但同样决定成败的事——特征归一化。它不属于三要素,却能在不改变任何一项设置的情况下让结果大幅变化,原因是它改变了距离本身。三者确定而结果异常时,先检查量纲。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第05章 K近邻
原书出处 · 1 处
- 第5章 K近邻 5.2 K近邻分类原理 · 查看原书依据
通过上面的描述我们可以看出,K近邻模型主要有三个要素,即K值的选择、距离度量方法、分类决策规则。当三要素确定后,对任何新的输入样本实例它所属的类别都可以利用K近邻确定。
参考来源
- 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.2 K近邻分类原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html)
- 结论依据:原文明确说明 K 近邻模型主要有三个要素——K 值的选择、距离度量方法、分类决策规则,并指出三要素确定后任意新样本的类别都可确定。
- 原始内容:通过上面的描述我们可以看出,K近邻模型主要有三个要素,即K值的选择、距离度量方法、分类决策规则。当三要素确定后,对任何新的输入样本实例它所属的类别都可以利用K近邻确定。