知识卡片

普通读书笔记卡 · 9863.m · 生成模型:Hunyuan

测试与注意力分析

理解等级:高级

用测试集跑 get_predictions 得到类别 id,再经 label_map 的反向映射写回中文标签并拼成可提交文件。进一步把微调后的 state_dict 装回 BertModel 并开启 output_attentions,对比微调前后注意力分布,可看到更新 [CLS] 表示时某些头开始聚焦“泄露”“辟谣”这类任务相关词。这为判断模型是否学到有意义特征提供了证据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0005.xhtml) - 结论依据:14.5.1 至 14.5.3 节给出测试写文件、筛选 disagreed 正例,以及用 BertViz 观察“泄露/辟谣”关注的代码与结论。 - 原始内容:非常有意思的是,在看过一些假新闻分类数据以后,这层的一些head在更新[CLS]的表示时,会开始关注跟下游任务目标相关的特定词汇:泄露、辟谣。