知识卡片
KNN样本不平衡与高维困境
KNN的优点很实在:简单、训练时间复杂度低、适合非线性分类、对异常点不敏感。但它的软肋同样明显。一是样本不平衡:当某类样本量极大、另一类极小,新样本的K个邻居往往被大容量类占满,会被误判成大类,而按真实分布它本该属于小类;可对邻居按距离加权来缓解。二是计算量:每个新样本都要和全体已知样本算一遍距离才能找出K个近邻,靠事先修剪掉作用不大的样本来提速。三是高维困境,这也是实际项目里效果不突出的主因——维度一高数据就极其稀疏,想让样本足够密集很难,距离计算复杂度也飙升(原文举例银行流失预测用到15000个特征)。因此KNN更适合大样本类域的自动分类,小样本类域容易误分;要用好它,往往得先降维。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 透过现象看本质,全靠降维来帮忙 10.1.2 如何实现KNN算法 · 查看原书依据
KNN 算法的优势在于简单、训练的时间复杂度较低,适用于非线性分类场景,并且对异常数据点不敏感。但该算法同样有不足之处,例如在样本不平衡的情况下,如一个类的样本容量很大,而其他类的样本容量很小,这有可能导致当输入一个新样本时,该样本的 K 个邻居中某个大容量类的样本占多数
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文先列KNN简单、对异常点不敏感等优势,再指出样本不平衡、计算量大、高维稀疏致距离复杂(15000特征案例),支撑本卡优缺点与高维困境结论。
- 原始内容:KNN 算法的优势在于简单、训练的时间复杂度较低,适用于非线性分类场景,并且对异常数据点不敏感。但该算法同样有不足之处,例如在样本不平衡的情况下,如一个类的样本容量很大,而其他类的样本容量很小,这有可能导致当输入一个新样本时,该样本的 K 个邻居中某个大容量类的样本占多数