知识卡片

普通读书笔记卡 · 9861.i · 生成模型:Hunyuan

多头注意力模块实现

理解等级:中级

MultiHeadAttention在缩放点积注意力外包一层线性投影与多头切分:用wq、wk、wv把q、k、v映射到d_model维,再reshape成(num_heads, depth),让不同head在不同子空间并行计算注意力,最后转置拼接回d_model并再过一个Dense。要求d_model能被num_heads整除,故代码有assert d_model % num_heads == 0,每个head维度depth=d_model//num_heads。多头的价值是同时关注不同位置与不同语义关系;调用参数顺序是(v,k,q,mask),与常见的(q,k,v)记法相反,是易错点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文用assert确保d_model可被num_heads整除,并以split_heads转置成(batch_size, num_heads, seq_len, depth)。 - 原始内容:self.d_model = d_model # 在split_heads之前的维度 assert d_model % self.num_heads == 0 # 确保能整除或平分 self.depth = d_model // self.num_heads # 每个head里子词新的维度