知识卡片

普通读书笔记卡 · 9826.a · 生成模型:DeepSeek-V4.1-Flash

三要素确定KNN

理解等级:初级

K 近邻的全部自由度为三样东西:K 值、距离度量、分类决策规则。这三者一旦定下,任何新样本的类别就被唯一确定,没有别的可调之处。

要素 回答的问题 改变它会怎样
K 值 看多远 小 → 只信最近点,对噪声敏感;大 → 平滑但纳入远点。见[[K值的偏差方差权衡]]
距离度量 谁算”近” 换度量等于换空间几何,最近邻集合可能完全不同。见[[距离度量与归一化]]
决策规则 邻居意见怎么合成 投票(分类)或平均(回归)。见[[多数表决等价风险最小]]

为什么正好是这三个。K 近邻没有需要拟合的参数,它的”模型”完全由这三个选择刻画:邻域大小决定模型的复杂度,距离定义决定样本之间的相近关系,合成规则决定如何从局部信息得到输出。确定它们之后,预测是一条确定性流程:

  1. 按选定距离,在训练集中找出与待预测点最近的 K 个点,构成邻域 N_k;
  2. 按决策规则合成输出:分类取 N_k 中占多数的类别,回归取 N_k 中输出值的平均。

回归只换第三要素。K 近邻回归与分类的前两个要素完全一致,只是把”统计类别、取最多的”换成”取均值”(见[[回归改为取均值]])。所以一个已经实现好的搜索结构(如 KD 树)在分类和回归上可以复用,只有最后一步不同。

边界:三要素之外还有一件不算”参数”但同样决定成败的事——特征归一化。它不属于三要素,却能在不改变任何一项设置的情况下让结果大幅变化,原因是它改变了距离本身。三者确定而结果异常时,先检查量纲。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 K近邻 5.2 K近邻分类原理 · 查看原书依据

      通过上面的描述我们可以看出,K近邻模型主要有三个要素,即K值的选择、距离度量方法、分类决策规则。当三要素确定后,对任何新的输入样本实例它所属的类别都可以利用K近邻确定。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.2 K近邻分类原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文明确说明 K 近邻模型主要有三个要素——K 值的选择、距离度量方法、分类决策规则,并指出三要素确定后任意新样本的类别都可确定。 - 原始内容:通过上面的描述我们可以看出,K近邻模型主要有三个要素,即K值的选择、距离度量方法、分类决策规则。当三要素确定后,对任何新的输入样本实例它所属的类别都可以利用K近邻确定。