← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9839.r · 生成模型:Hunyuan

kNN近邻投票原理

理解等级:中级

kNN(k 最近邻)用样本间距离衡量相似度来分类:如果一个样本在特征空间中最相似的 k 个邻居多数属于某一类,它就被判为该类。k 由外部设定,通常取奇数以避免平票,样本有限时取 3。算法先选定距离度量,文本分类常用夹角余弦,它用两向量点积除以各自模长,值越接近 1 越相似;再算出待分类点与所有已知点的距离并排序,取最近的 k 个;最后统计这 k 个邻居的类别,票数最多的类别即为结果。和朴素贝叶斯先把数据压成概率模型不同,kNN 不显式训练模型,而是把判断推迟到预测时,用邻居的集体意见直接投票。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      k最近邻(k-Nearest Neighbor)算法是比较简单的机器学习算法。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单:如果一个样本在特征空间中的k个最近邻(最相似)的样本中的大多数都属于某一个类别,则该样本也属于这个类别。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文给出 kNN 以 k 个最近邻多数归属的定义,并列出确定 k 值、夹角余弦距离、统计 k 个样本类别三个步骤,支撑本卡对原理与步骤的说明。 - 原始内容:k最近邻(k-Nearest Neighbor)算法是比较简单的机器学习算法。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单:如果一个样本在特征空间中的k个最近邻(最相似)的样本中的大多数都属于某一个类别,则该样本也属于这个类别。