知识卡片
k 值决定偏差与方差
k 是投票的邻居数量,也是模型唯一的复杂度旋钮。k 很小时,预测几乎完全跟着最近的那一个点走:训练集里任何一个标错或位置特殊的样本,都会在自己的邻域里制造一块错误区域,换一批训练数据预测就大幅变化,方差极大、偏差很小。
k 增大相当于对邻域做平均或多数表决,个别噪声被抵消,方差下降;但邻域扩到跨越类别边界时,局部信息被稀释,预测被拉向全局分布,偏差上升。极端情形 k 等于样本数时,对任何输入都返回训练集中最常见的类,模型退化为一个常数。所以选 k 与选多项式阶数同构,都是在偏差与方差之间移动。书中的鸢尾花演示固定用 k=5,并指出真实场景应另划验证集来选,而不是在测试集上试。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 k 最近邻法 · 查看原书依据
训练集用于训练模型并对测试集中的点进行分类。只要选择 的值,即投票的邻居数量。如果 很小(),异常值影响会很大;如果 很大(),只能预测数据集中最常见的类。
参考来源
- 位置:《数据科学入门(第2版)》第12章 k 最近邻法(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0016.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「训练集用于训练模型并对测试集中的点进行分类……」
- 原始内容:训练集用于训练模型并对测试集中的点进行分类。只要选择 的值,即投票的邻居数量。如果 很小(),异常值影响会很大;如果 很大(),只能预测数据集中最常见的类。