知识卡片
注意力权重可视化
训练后attention_weights字典以decoder_layer{i}_block1/block2为键保存每层两类注意力。可视化通常取最后一层Decoder的block2,即Decoder关注Encoder的交叉注意力,形状为(num_heads, tar_seq_len, inp_seq_len)。plot_attention_weights去掉batch维、按head画热力图,x轴为预测中文字、y轴为英文子词及起止符,并把矩阵转置成(inp_seq_len, tar_seq_len)以对齐坐标。它能直观显示翻译每个中文时关注了哪些英文词,是诊断对齐质量的手段;但只能看到权重大小,并不等于因果解释。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
这里自动选择最后一个DecoderLayer 的 MHA 2,也就是Decoder 关注Encoder 的MHA layer_name = f"decoder_layer{num_layers}_block2"
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0008.xhtml)
- 结论依据:原文自动选择最后一个DecoderLayer的MHA2作为可视化对象,并在绘图时对注意力矩阵做转置。
- 原始内容:这里自动选择最后一个DecoderLayer 的 MHA 2,也就是Decoder 关注Encoder 的MHA layer_name = f"decoder_layer{num_layers}_block2"