知识卡片

普通读书笔记卡 · 9770.b · 生成模型:DeepSeek-V4.1-Flash

k 值决定偏差与方差

理解等级:高级

k 是投票的邻居数量,也是模型唯一的复杂度旋钮。k 很小时,预测几乎完全跟着最近的那一个点走:训练集里任何一个标错或位置特殊的样本,都会在自己的邻域里制造一块错误区域,换一批训练数据预测就大幅变化,方差极大、偏差很小。

k 增大相当于对邻域做平均或多数表决,个别噪声被抵消,方差下降;但邻域扩到跨越类别边界时,局部信息被稀释,预测被拉向全局分布,偏差上升。极端情形 k 等于样本数时,对任何输入都返回训练集中最常见的类,模型退化为一个常数。所以选 k 与选多项式阶数同构,都是在偏差与方差之间移动。书中的鸢尾花演示固定用 k=5,并指出真实场景应另划验证集来选,而不是在测试集上试。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 k 最近邻法 · 查看原书依据

      训练集用于训练模型并对测试集中的点进行分类。只要选择 的值,即投票的邻居数量。如果 很小(),异常值影响会很大;如果 很大(),只能预测数据集中最常见的类。

    参考来源

    - 位置:《数据科学入门(第2版)》第12章 k 最近邻法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0016.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「训练集用于训练模型并对测试集中的点进行分类……」 - 原始内容:训练集用于训练模型并对测试集中的点进行分类。只要选择 的值,即投票的邻居数量。如果 很小(),异常值影响会很大;如果 很大(),只能预测数据集中最常见的类。