← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9826.b · 生成模型:DeepSeek-V4.1-Flash

K值的偏差方差权衡

理解等级:中级

K 是 K 近邻里唯一直接控制”模型有多复杂”的旋钮,它的作用可以用两个误差来理解。

两个误差。近似误差指模型对训练数据的拟合能力不足带来的误差,估计误差指模型对训练数据的随机波动过度敏感带来的误差。二者的走向正好相反:

K 邻域 近似误差 估计误差 表现
很小(如 K=1) 只有最近的点 小,训练集上几乎全对 大 噪声点一票定音,方差高
很大 一大片区域 大,远处不相似的点也参与 小 被平滑成多数类,偏差高

K=1 时训练误差接近 0,但换一份噪声不同的训练集,预测就会大幅改变——这是典型的过拟合形态。K 增大到 M(样本总数)时,所有样本的邻居都一样,模型永远输出多数类,彻底失效。

为什么小 K 更危险。”我们不能保证邻近的实例点会不会正好是噪声点”——在只有 1 个邻居时,这个邻居如果是标注错误或异常样本,结果直接错,没有任何纠错机会。K 稍大一点,投票机制就能把孤立的错误点稀释掉,这也是 K 近邻”对异常值不大敏感”的来源。

选法:交叉验证。在若干候选 K 上分别训练并在验证折上评估,取验证误差最低的一个,而不是凭经验公式拍一个数。二分类时 K 常取奇数,避免平票无法决断。

一处需要留意的原文表述。原文在段末还从”特征空间被划分成的子空间数量”角度给出另一方向的判断:K 大时相当于对特征空间做了更复杂的划分、模型更复杂因而更容易过拟合,K 小时划分简单、容易欠拟合。这与前一段的偏差-方差分析方向相反(前一段说 K 大降低估计误差、增大近似误差)。两种说法指向的实操结论不同,遇到分歧时以交叉验证的实测为准;保留这句是为了不丢掉原文的推理路径。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 K近邻 5.2.1 K值的选择 · 查看原书依据

      这种方式的缺点是模型估计误差比较大,预测结果对少部分邻近的实例点十分敏感(我们不能保证邻近的实例点会不会正好是噪声点,如果是噪声点,那么模型的预测结果就会出现较大偏差)。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.2.1 K值的选择(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文分别说明 K 小时近似误差小但估计误差大、对邻近实例点敏感,K 大时估计误差降低但近似误差增大,并指出实际中一般采用交叉验证选 K。 - 原始内容:这种方式的缺点是模型估计误差比较大,预测结果对少部分邻近的实例点十分敏感(我们不能保证邻近的实例点会不会正好是噪声点,如果是噪声点,那么模型的预测结果就会出现较大偏差)。……实际中,一般采用交叉验证来选取合适的K值。