知识卡片

普通读书笔记卡 · 6473.d.6.a · 生成模型:未记录

显著图反映局部敏感度而非完整原因

理解等级:中级

梯度显著图用输出或损失对输入的偏导估计微小变化的局部敏感度;遮挡法则比较区域被替换前后的输出。梯度饱和、输入扰动方式和相关特征都会影响结果,显著区域不能直接等同于真实因果机制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 可解释性机器学习 18.4 可解释性机器学习中的局部解释 · 查看原书依据

      当然梯度并不是万能的,梯度并不完全能够反映一个部分的重要性,举个例子,如图18.5 所示. 横轴代表一个生物鼻子的长度,纵轴代表这个生物是大象的可能性.我们都知道大象的特征是鼻子长,所以鼻子越长,这个生物是大象的可能性就越大. 但是当鼻子长到一定程度以后,再长的鼻子也不会让这个生物变得更像大象.这时候,如果计算鼻子的长度对这个生物是大象的可能性的偏微分,那么得到的结果可能会趋近于 0.所以如果仅仅看梯度,或者仅仅看显著图,可能会得出一个结论:鼻子的长度对这个生物是不是大象这件事情是不重要的,鼻子的长度不是判断生物是否为大象的一个指标,因为鼻子长度的变化,对生物是大象的可能性的变化趋近于 0,但事实上,我们知道鼻子的长度是一个很重要的指标.所以仅仅看梯度和偏微分的结果,可能没有办法完全告诉我们一个部分的重要性. 当然,也有其他的方法可以使用,如积分梯度(integrated gradients)等.

    参考来源

    - 位置:《深度学习详解》第18章《可解释性机器学习》18.4 可解释性机器学习中的局部解释(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter18.xhtml`) - 结论依据:原文说明局部与全局、梯度饱和、探针和局部代理;忠实度限制按方法边界表述。 - 原始内容:当然梯度并不是万能的,梯度并不完全能够反映一个部分的重要性,举个例子,如图18.5 所示. 横轴代表一个生物鼻子的长度,纵轴代表这个生物是大象的可能性.我们都知道大象的特征是鼻子长,所以鼻子越长,这个生物是大象的可能性就越大. 但是当鼻子长到一定程度以后,再长的鼻子也不会让这个生物变得更像大象.这时候,如果计算鼻子的长度对这个生物是大象的可能性的偏微分,那么得到的结果可能会趋近于 0.所以如果仅仅看梯度,或者仅仅看显著图,可能会得出一个结论:鼻子的长度对这个生物是不是大象这件事情是不重要的,鼻子的长度不是判断生物是否为大象的一个指标,因为鼻子长度的变化,对生物是大象的可能性的变化趋近于 0,但事实上,我们知道鼻子的长度是一个很重要的指标.所以仅仅看梯度和偏微分的结果,可能没有办法完全告诉我们一个部分的重要性. 当然,也有其他的方法可以使用,如积分梯度(integrated gradients)等.