知识卡片
BertViz头视图可视化
BertViz 的 head_view 可以把指定层的某个注意力头对句中每个词的关注强度画出来。使用时让 BertModel 返回 output_attentions,再用 encode_plus 得到 token_type_ids 与 input_ids,把 attention 与 token 列表交给 head_view。图中第 9 层一个 head 里,“他”对“宏”的关注度较高,说明自注意力确实在建立指代关系。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 用BERT实现中文语句分类 · 查看原书依据
这是BERT第9层Encoder块中一个head的注意力结果,从图14-1可以看出,左边的这个“他”对右边的“宏”字关注度较高。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第14章 用BERT实现中文语句分类(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter18_0002.xhtml)
- 结论依据:14.2.2 与 14.2.3 节给出库导入、HTML 配置与 head_view 调用,并对图 14-1 的“他—宏”关注现象作了解读。
- 原始内容:这是BERT第9层Encoder块中一个head的注意力结果,从图14-1可以看出,左边的这个“他”对右边的“宏”字关注度较高。