知识卡片
探针表现反映信息可提取性
探针用一个额外模型从中间表示预测某种属性,例如词性。高准确率说明该探针在该数据和训练条件下能提取相关信息;低准确率也可能来自探针能力或训练不足。可提取不等于原模型实际使用了该信息。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 可解释性机器学习 18.4 可解释性机器学习中的局部解释 · 查看原书依据
换个角度,训练一个命名实体识别(Named Entity Recognition,NER)的分类器,这个分类器的输入是BERT的嵌入,输出这个词汇是不是一个命名实体,属于人名还是地名,还是任何专有名词,等等. 通过这个分类器的准确率,就可以知道这些特征里有没有地址和人名信息等.但是在使用这种技术的时候,需要关注所使用分类器的强度. 如果分类器的准确率很低,它还能够保证输入的这些特征(即BERT的嵌入)里有(或没有)我们需要的分类信息吗?不一定,因为有可能就是分类器训练得太差了,比如学习率没有调整好,等等.所以在使用探针的时候,不要太快地下结论.
参考来源
- 位置:《深度学习详解》第18章《可解释性机器学习》18.4 可解释性机器学习中的局部解释(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter18.xhtml`)
- 结论依据:原文说明局部与全局、梯度饱和、探针和局部代理;忠实度限制按方法边界表述。
- 原始内容:换个角度,训练一个命名实体识别(Named Entity Recognition,NER)的分类器,这个分类器的输入是BERT的嵌入,输出这个词汇是不是一个命名实体,属于人名还是地名,还是任何专有名词,等等. 通过这个分类器的准确率,就可以知道这些特征里有没有地址和人名信息等.但是在使用这种技术的时候,需要关注所使用分类器的强度. 如果分类器的准确率很低,它还能够保证输入的这些特征(即BERT的嵌入)里有(或没有)我们需要的分类信息吗?不一定,因为有可能就是分类器训练得太差了,比如学习率没有调整好,等等.所以在使用探针的时候,不要太快地下结论.