知识卡片
KNN是懒惰学习,只能做局部解释
内容
KNN不像线性回归、决策树那样先训练出一组参数再解释,而是”懒惰学习”——收到预测请求时才现场去训练集里找最近的k个邻居,本身没有可以拿来解释的全局参数。它的可解释性因此只能停留在”这个样本之所以被这样预测,是因为它的k个近邻长这样”这种局部层面,无法像其他模型那样从全局角度总结出一套通用规律。
参考来源
- 位置:《数据科学工程实践》第11章《机器学习模型可解释性》"11.2.3 KNN"一节(源文件:_epub-src/OEBPS/Text/part0062.xhtml)
- 结论依据:原文说明KNN建模过程直接在训练集上按距离找最近邻,没有独立训练出的全局参数,只能针对具体样本解释其近邻构成,这与线性回归、决策树逐步训练出可解释全局结构的方式不同。
- 原始内容:接下来以泰坦尼克号生存分析为例,演示KNN模型的建模过程。通过Python构建KNN模型,该模型中距离计算方法可通过metric参数设定,默认取欧氏距离,在训练集建模……KNN算法的结果在很大程度上取决于k的选择,因此最棘手的问题是如何找到合适的k及如何测量实例之间的距离,从而最终确定邻域。