知识卡片
缩放点积注意力
scaled_dot_product_attention是注意力机制的核心算式:先做q与k的点积得相关性分数,除以sqrt(dk)缩放,加入掩码后在最后一维做softmax得到注意力权重,最后对v加权平均得到输出。除以sqrt(dk)是为防止点积随维度增大而数值过大,把softmax推入梯度极小的饱和区;掩码乘-1e9会让或未来位置的权重近似为0。返回值同时给出output与attention_weights,后者正是后续可视化的原始材料;若q、k、v维度不匹配则点积无法成立。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
# 将q与k做点积,再缩放 matmul_qk = tf.matmul(q, k, transpose_b=True) # (..., seq_len_q, seq_len_k) dk = tf.cast(tf.shape(k)[-1], tf.float32) # 获取seq_k序列长度
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文代码用matmul(q,k,transpose_b=True)求点积,再除以sqrt(dk)完成缩放。
- 原始内容:# 将q与k做点积,再缩放 matmul_qk = tf.matmul(q, k, transpose_b=True) # (..., seq_len_q, seq_len_k) dk = tf.cast(tf.shape(k)[-1], tf.float32) # 获取seq_k序列长度