← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9826.e · 生成模型:DeepSeek-V4.1-Flash

回归改为取均值

理解等级:初级

K 近邻回归与分类共用前两个要素(K 值与距离度量),只把第三个换掉:分类是统计邻居的类别并取最多的,回归是取邻居输出值的算术平均。

规则。找到待预测点 x_j 的 K 个最近邻 {x_i} 后,

ŷ_j = (1/K) · Σ_i y_i

就这么一步。没有需要拟合的系数,也没有系数需要解释——每个邻居一票,票值就是它的输出值。

为什么平均是合理的。从平方损失看,若要在邻域内选一个常数代表所有这些 y 值,使 Σ(y_i − c)² 最小的 c 恰好是算术平均。所以”取均值”与分类里的”取众数”是同一种思路在不同损失下的解:分类用 0-1 损失得到众数,回归用平方损失得到均值。这个对照比记住公式更有用——它告诉你换损失函数时决策规则该怎么改。

代价:

  • 对异常值敏感。分类投票里一个离谱的邻居只占一票,影响有限;回归里一个极端的 y 会直接拉高整个平均值。需要稳健时可改用中位数或按距离加权平均。
  • 不能外推。预测值永远落在邻域内 y 的最小值与最大值之间,趋势性的数据(如时间序列持续上升)用它会系统性低估或高估。
  • 平坦区效应。两个相邻的预测点若共享同一组邻居,输出完全相同,预测曲线呈阶梯状,不光滑。

工程上的便利。因为搜索逻辑完全复用,KNeighborsRegressor 与 KNeighborsClassifier 的参数和方法一一对应,只需换类名,n_neighbors、weights、metric、algorithm 的含义都不变。也就是说,为分类调好的距离与索引结构,可以直接搬到回归上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 K近邻 5.3.1 回归决策规则 · 查看原书依据

      ,K)后,分类问题采取的决策规则是统计这K个训练样本点的类别情况,然后选择其中占实例数最多的类别为待预测实例xj 的类别。回归问题其实只是稍加变化,即把这K个最近邻训练样本实例xi 的输出值yi 的平均作为待预测实例xj 的值

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.3 K近邻回归原理(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文说明回归仍是三要素,前两个与分类相同,只把分类决策规则换成"把 K 个最近邻输出值的平均作为待预测实例的值",并给出对应的算法步骤。 - 原始内容:在找到待预测实例xj的K个最近邻训练样本实例xi(i=1,2,…,K)后,分类问题采取的决策规则是统计这K个训练样本点的类别情况,然后选择其中占实例数最多的类别为待预测实例xj的类别。回归问题其实只是稍加变化,即把这K个最近邻训练样本实例xi的输出值yi的平均作为待预测实例xj的值