知识卡片
kNN近邻投票原理
kNN(k 最近邻)用样本间距离衡量相似度来分类:如果一个样本在特征空间中最相似的 k 个邻居多数属于某一类,它就被判为该类。k 由外部设定,通常取奇数以避免平票,样本有限时取 3。算法先选定距离度量,文本分类常用夹角余弦,它用两向量点积除以各自模长,值越接近 1 越相似;再算出待分类点与所有已知点的距离并排序,取最近的 k 个;最后统计这 k 个邻居的类别,票数最多的类别即为结果。和朴素贝叶斯先把数据压成概率模型不同,kNN 不显式训练模型,而是把判断推迟到预测时,用邻居的集体意见直接投票。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
k最近邻(k-Nearest Neighbor)算法是比较简单的机器学习算法。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单:如果一个样本在特征空间中的k个最近邻(最相似)的样本中的大多数都属于某一个类别,则该样本也属于这个类别。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文给出 kNN 以 k 个最近邻多数归属的定义,并列出确定 k 值、夹角余弦距离、统计 k 个样本类别三个步骤,支撑本卡对原理与步骤的说明。
- 原始内容:k最近邻(k-Nearest Neighbor)算法是比较简单的机器学习算法。它采用测量不同特征值之间的距离方法进行分类。它的思想很简单:如果一个样本在特征空间中的k个最近邻(最相似)的样本中的大多数都属于某一个类别,则该样本也属于这个类别。