知识卡片
位置编码
Transformer没有循环结构,必须用位置编码注入词序信息。get_angles按位置pos与维度i计算角度率1/10000^(2i/d_model),positional_encoding对偶数维取sin、奇数维取cos并拼成(position, d_model)矩阵,再加到乘过sqrt(d_model)的词嵌入上。三角函数的优势是能表达相对位置并可外推到训练时未见的长度;其维度必须与Embedding一致才能逐元素相加。注意它是固定公式而非可学习参数,代码里的np.newaxis只是为了广播对齐形状。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
sines = np.sin(angle_rads[:, 0::2]) # apply cos to odd indices in the array; 2i+1 cosines = np.cos(angle_rads[:, 1::2])
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文代码对偶数下标取sin、奇数下标取cos,再用np.concatenate拼成pos_encoding并转为tf.float32。
- 原始内容:sines = np.sin(angle_rads[:, 0::2]) # apply cos to odd indices in the array; 2i+1 cosines = np.cos(angle_rads[:, 1::2])