知识卡片

问题卡 · 9449.a · 生成模型:Tencent Hunyuan Hy

KNN分类受K值与距离影响

理解等级:中级

很多人以为KNN只要找最近的邻居就行,其实有两个容易被忽视的决定因素。其一是K值:K没有固定标准,选几个邻居会直接改变结果——同一个待分类样本,K=3和K=5可能得出不同类别;K还会影响模型的偏差与方差,K太小容易受噪声干扰,K太大又会把远处异类拉进来。实践中没有解析解,通常用交叉验证法多试几次来挑最合适的K。其二是距离的定义:近邻的近必须用向量表征——每个维度刻画一个特征——再套用距离公式才有意义;肉眼判断不算数。常用距离有余弦、汉明、曼哈顿、欧氏距离等,一般默认用欧氏距离。可迁移的启发是:基于相似度的算法,结论往往对超参数和度量方式敏感,报告结果时应同时说明K值和所用距离,否则结论不可复现。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 透过现象看本质,全靠降维来帮忙 10.1.2 如何实现KNN算法 · 查看原书依据

      K 值的选择没有一个固定的标准。但是 K 值的选取会影响待分类样本的分类结果,进而影响算法的偏差与方差。因此我们需要用“交叉验证法”——多试验几次,寻找最合适的 K 值。对于距离的度量,我们有很多的距离度量方式,常用的距离计算方法有:欧氏距离、余弦距离、汉明距离、曼哈顿距离等

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第10章《透过现象看本质,全靠降维来帮忙》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00015.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文指出K值选择没有固定标准、会影响分类结果与偏差方差、需用交叉验证寻找,并列出多种距离度量且通常选欧氏距离,支撑本卡两大关键点的结论。 - 原始内容:K 值的选择没有一个固定的标准。但是 K 值的选取会影响待分类样本的分类结果,进而影响算法的偏差与方差。因此我们需要用“交叉验证法”——多试验几次,寻找最合适的 K 值。对于距离的度量,我们有很多的距离度量方式,常用的距离计算方法有:欧氏距离、余弦距离、汉明距离、曼哈顿距离等