知识卡片
回归改为取均值
K 近邻回归与分类共用前两个要素(K 值与距离度量),只把第三个换掉:分类是统计邻居的类别并取最多的,回归是取邻居输出值的算术平均。
规则。找到待预测点 x_j 的 K 个最近邻 {x_i} 后,
ŷ_j = (1/K) · Σ_i y_i
就这么一步。没有需要拟合的系数,也没有系数需要解释——每个邻居一票,票值就是它的输出值。
为什么平均是合理的。从平方损失看,若要在邻域内选一个常数代表所有这些 y 值,使 Σ(y_i − c)² 最小的 c 恰好是算术平均。所以”取均值”与分类里的”取众数”是同一种思路在不同损失下的解:分类用 0-1 损失得到众数,回归用平方损失得到均值。这个对照比记住公式更有用——它告诉你换损失函数时决策规则该怎么改。
代价:
- 对异常值敏感。分类投票里一个离谱的邻居只占一票,影响有限;回归里一个极端的 y 会直接拉高整个平均值。需要稳健时可改用中位数或按距离加权平均。
- 不能外推。预测值永远落在邻域内 y 的最小值与最大值之间,趋势性的数据(如时间序列持续上升)用它会系统性低估或高估。
- 平坦区效应。两个相邻的预测点若共享同一组邻居,输出完全相同,预测曲线呈阶梯状,不光滑。
工程上的便利。因为搜索逻辑完全复用,KNeighborsRegressor 与 KNeighborsClassifier 的参数和方法一一对应,只需换类名,n_neighbors、weights、metric、algorithm 的含义都不变。也就是说,为分类调好的距离与索引结构,可以直接搬到回归上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第05章 K近邻
原书出处 · 1 处
- 第5章 K近邻 5.3.1 回归决策规则 · 查看原书依据
,K)后,分类问题采取的决策规则是统计这K个训练样本点的类别情况,然后选择其中占实例数最多的类别为待预测实例xj 的类别。回归问题其实只是稍加变化,即把这K个最近邻训练样本实例xi 的输出值yi 的平均作为待预测实例xj 的值
参考来源
- 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.3 K近邻回归原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html)
- 结论依据:原文说明回归仍是三要素,前两个与分类相同,只把分类决策规则换成"把 K 个最近邻输出值的平均作为待预测实例的值",并给出对应的算法步骤。
- 原始内容:在找到待预测实例xj的K个最近邻训练样本实例xi(i=1,2,…,K)后,分类问题采取的决策规则是统计这K个训练样本点的类别情况,然后选择其中占实例数最多的类别为待预测实例xj的类别。回归问题其实只是稍加变化,即把这K个最近邻训练样本实例xi的输出值yi的平均作为待预测实例xj的值