知识卡片
多头注意力模块实现
MultiHeadAttention在缩放点积注意力外包一层线性投影与多头切分:用wq、wk、wv把q、k、v映射到d_model维,再reshape成(num_heads, depth),让不同head在不同子空间并行计算注意力,最后转置拼接回d_model并再过一个Dense。要求d_model能被num_heads整除,故代码有assert d_model % num_heads == 0,每个head维度depth=d_model//num_heads。多头的价值是同时关注不同位置与不同语义关系;调用参数顺序是(v,k,q,mask),与常见的(q,k,v)记法相反,是易错点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
self.d_model = d_model # 在split_heads之前的维度 assert d_model % self.num_heads == 0 # 确保能整除或平分 self.depth = d_model // self.num_heads # 每个head里子词新的维度
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文用assert确保d_model可被num_heads整除,并以split_heads转置成(batch_size, num_heads, seq_len, depth)。
- 原始内容:self.d_model = d_model # 在split_heads之前的维度 assert d_model % self.num_heads == 0 # 确保能整除或平分 self.depth = d_model // self.num_heads # 每个head里子词新的维度