知识卡片
LIME用局部采样解释单个预测
内容
LIME不像[[全局代理模型只能解释模型本身]]那样用全部数据训练一个代理模型,而是针对要解释的某一个样本,在它附近做特征扰动采样、生成一批新样本,用黑盒模型给这些新样本打标签,再按新样本与原样本的相似度加权,训练一个局部的简单模型来解释这一次预测。代价是解释结果依赖采样过程,同一个样本多次解释可能得到不完全一致的结果,稳定性不如全局方法。
参考来源
- 位置:《数据科学工程实践》第11章《机器学习模型可解释性》"11.3.1 黑盒模型解释方法·局部代理模型"一节(源文件:_epub-src/OEBPS/Text/part0063.xhtml)
- 结论依据:原文明确LIME"不使用全部的数据集,而是在每个预测样本附近随机采样进行预测……通过数据的变化生成一个新的数据集,此数据集由采样样本以及该样本在黑盒模型上对应的预测结果组成……根据新样本与真实样本之间的相似度……进行加权",其缺点是"不同采样结果有一定的变化,导致模型对同一数据集的多次解释结果也有一定的影响,即解释结果存在不稳定性"。
- 原始内容:LIME是一种局部代理模型,非全局代理模型,即不使用全部的数据集,而是在每个预测样本附近随机采样进行预测。LIME专注于训练局部代理模型,以解释单个预测……根据新样本与真实样本之间的相似度(相似度可以使用计算距离的方式得出,如cosine值)进行加权……LIME的缺点是不能正确定义邻域,其次由于不同采样结果有一定的变化,导致模型对同一数据集的多次解释结果也有一定的影响,即解释结果存在不稳定性。