知识卡片
测试与注意力分析
用测试集跑 get_predictions 得到类别 id,再经 label_map 的反向映射写回中文标签并拼成可提交文件。进一步把微调后的 state_dict 装回 BertModel 并开启 output_attentions,对比微调前后注意力分布,可看到更新 [CLS] 表示时某些头开始聚焦“泄露”“辟谣”这类任务相关词。这为判断模型是否学到有意义特征提供了证据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
非常有意思的是,在看过一些假新闻分类数据以后,这层的一些head在更新[CLS]的表示时,会开始关注跟下游任务目标相关的特定词汇:泄露、辟谣。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0005.xhtml)
- 结论依据:14.5.1 至 14.5.3 节给出测试写文件、筛选 disagreed 正例,以及用 BertViz 观察“泄露/辟谣”关注的代码与结论。
- 原始内容:非常有意思的是,在看过一些假新闻分类数据以后,这层的一些head在更新[CLS]的表示时,会开始关注跟下游任务目标相关的特定词汇:泄露、辟谣。