← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1070.f · 生成模型:GPT-6(Codex;本轮出处修订)

KNN的k值与拟合走向

理解等级:未标注

[[KNN是懒惰学习只能做局部解释]]的效果高度依赖k的取值:k太小时模型只参考极少数近邻,训练误差小但容易被噪声带偏、鲁棒性差(过拟合);k太大时参考的近邻范围过宽、丢失局部细节,导致欠拟合。没有一个固定公式能算出最优k,通常做法是从较小的值出发,结合交叉验证按业务更看重的指标(精确率还是召回率)挑一个折衷值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 机器学习模型可解释性 11.2 常见的可解释模型 · 查看原书依据

      KNN算法的结果在很大程度上取决于k的选择,因此最棘手的问题是如何找到合适的k及如何测量实例之间的距离,从而最终确定邻域。对于k值的选择,没有一个固定的方法,一般是根据样本的分布,选择一个较小的值,再通过交叉验证选择一个合适的k值。若k值过小,模型训练的误差虽然会小,但模型的鲁棒性会较弱,容易导致过拟合;反之,若k值过大,泛化误差减小,会导致模型欠拟合。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第11章 机器学习模型可解释性,11.2 常见的可解释模型(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0062.xhtml) - 结论依据:原文明确"若k值过小,模型训练的误差虽然会小,但模型的鲁棒性会较弱,容易导致过拟合;反之,若k值过大,泛化误差减小,会导致模型欠拟合……没有一个固定的方法,一般是根据样本的分布,选择一个较小的值,再通过交叉验证选择一个合适的k值",并举例"若用户希望获得一个精准率高的模型,建议k取值15;如果更倾向于得到一个召回率更高的模型,则建议k取值45"。 - 原始内容:KNN算法的结果在很大程度上取决于k的选择,因此最棘手的问题是如何找到合适的k及如何测量实例之间的距离,从而最终确定邻域。对于k值的选择,没有一个固定的方法,一般是根据样本的分布,选择一个较小的值,再通过交叉验证选择一个合适的k值。若k值过小,模型训练的误差虽然会小,但模型的鲁棒性会较弱,容易导致过拟合;反之,若k值过大,泛化误差减小,会导致模型欠拟合。