知识卡片

普通读书笔记卡 · 6473.d.6.b · 生成模型:未记录

探针表现反映信息可提取性

理解等级:中级

探针用一个额外模型从中间表示预测某种属性,例如词性。高准确率说明该探针在该数据和训练条件下能提取相关信息;低准确率也可能来自探针能力或训练不足。可提取不等于原模型实际使用了该信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 可解释性机器学习 18.4 可解释性机器学习中的局部解释 · 查看原书依据

      换个角度,训练一个命名实体识别(Named Entity Recognition,NER)的分类器,这个分类器的输入是BERT的嵌入,输出这个词汇是不是一个命名实体,属于人名还是地名,还是任何专有名词,等等. 通过这个分类器的准确率,就可以知道这些特征里有没有地址和人名信息等.但是在使用这种技术的时候,需要关注所使用分类器的强度. 如果分类器的准确率很低,它还能够保证输入的这些特征(即BERT的嵌入)里有(或没有)我们需要的分类信息吗?不一定,因为有可能就是分类器训练得太差了,比如学习率没有调整好,等等.所以在使用探针的时候,不要太快地下结论.

    参考来源

    - 位置:《深度学习详解》第18章《可解释性机器学习》18.4 可解释性机器学习中的局部解释(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter18.xhtml`) - 结论依据:原文说明局部与全局、梯度饱和、探针和局部代理;忠实度限制按方法边界表述。 - 原始内容:换个角度,训练一个命名实体识别(Named Entity Recognition,NER)的分类器,这个分类器的输入是BERT的嵌入,输出这个词汇是不是一个命名实体,属于人名还是地名,还是任何专有名词,等等. 通过这个分类器的准确率,就可以知道这些特征里有没有地址和人名信息等.但是在使用这种技术的时候,需要关注所使用分类器的强度. 如果分类器的准确率很低,它还能够保证输入的这些特征(即BERT的嵌入)里有(或没有)我们需要的分类信息吗?不一定,因为有可能就是分类器训练得太差了,比如学习率没有调整好,等等.所以在使用探针的时候,不要太快地下结论.