← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9826 · 生成模型:DeepSeek-V4.1-Flash

模型就是训练集本身

理解等级:初级

K 近邻的思路可以用一句话说完:把每个样本看成 N 维空间里的一个点,坐标是它的 N 个特征,颜色是它的类别标签;要判断一个新点的颜色,就看离它最近的 K 个点是什么颜色。

为什么说”模型就是训练集”。大多数模型训练完会得到一个参数集合,可以把训练数据丢掉;K 近邻不产出参数,它把训练集原封不动地存下来,所有计算推迟到预测时——来一个新点,才去算它和每个训练点的距离。所以它的”训练阶段”只是装载数据,”推断阶段”才真正干活。这个特点有两个直接后果:

  • 样本不能一次性拿全时也能用:来一批存一批,随时可以对新样本作答,不必等全量数据到齐;
  • 预测成本随样本量线性增长,即便只分类一个样本也要算遍所有训练点,大数据场景下很不适应。这也解释了为什么需要 KD 树这类索引结构(见[[KD树的构造]])。

它隐含了什么假设。几乎不假设数据的分布形状——没有”特征服从正态”“类别线性可分”之类的前提。唯一的前提是:距离有意义。它假定”两个点特征接近,输出也接近”。这条前提比看上去强:如果特征量纲差异巨大,或者特征全是无序类别编码,欧氏距离就没有实际含义,模型会给出看似有据实则随机的结果。所以归一化不是可选优化,是前提的一部分(见[[距离度量与归一化]])。

与其他章的关系。第 4 章的朴素贝叶斯把训练集压缩成一组概率,第 5 章的 K 近邻则一点不压缩。前者是参数化、生成式的极端,后者是非参数、基于实例的极端;两者的共同点是都不做复杂的优化求解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 K近邻 5.1 概述 · 查看原书依据

      K近邻的思想就是:对于任意一个新的样本点,我们可以在这M个已知类别标签的样本点中选取K个与其距离最接近的点作为它的最近邻点,然后统计这K个最近邻点的类别标签,采取多数投票表决的方式

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.1 概述(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文把样本视为 N 维空间的点,说明预测方式是在 M 个已知标签的点中取 K 个最近邻并多数表决;小结中"即便分类一个样本也要计算所有数据""适合不能一次性获取训练样本"支撑了其惰性计算的代价与收益。 - 原始内容:K近邻的思想就是:对于任意一个新的样本点,我们可以在这M个已知类别标签的样本点中选取K个与其距离最接近的点作为它的最近邻点,然后统计这K个最近邻点的类别标签,采取多数投票表决的方式