知识卡片

普通读书笔记卡 · 6473.d.2.b.2.b.1 · 生成模型:未记录

Transformer编码器块

理解等级:中级

原始 Transformer 编码器先将位置编码加入输入,再重复执行编码器块。每个块用多头自注意力混合序列位置的信息,用逐位置前馈网络变换表示,并在各子层周围加入残差连接和层归一化;不同实现可调整归一化位置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer 7.3 Transformer编码器 · 查看原书依据

      图7.13 给出了 Transformer 编码器的详细结构,其中的“×”表示共执行 次. 首先,在输入的地方需要加上位置编码. 因为只用自注意力,没有位置信息,所以需要加上位置编码. 多头自注意力就是自注意力的块.经过自注意力后,还要加上残差连接和层归一化.接下来经过全连接前馈神经网络,并做一次残差连接和层归一化,才能得到一个块的输出,这个块会重复次.Transformer编码器其实不一定非得这样设计,论文“On Layer Normalization in the Transformer Architecture”[4] 提出了另一种设计,结果比原来的设计要好.原始的Transformer 结构并不是最优设计,我们可以思考一下,看看有没有更好的设计.

    参考来源

    - 位置:《深度学习详解》第7章《Transformer》7.3 Transformer编码器(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter07.xhtml`) - 结论依据:原文以编解码结构图和编码器块说明各部分以及两种归一化的统计范围。 - 原始内容:图7.13 给出了 Transformer 编码器的详细结构,其中的“×”表示共执行 次. 首先,在输入的地方需要加上位置编码. 因为只用自注意力,没有位置信息,所以需要加上位置编码. 多头自注意力就是自注意力的块.经过自注意力后,还要加上残差连接和层归一化.接下来经过全连接前馈神经网络,并做一次残差连接和层归一化,才能得到一个块的输出,这个块会重复次.Transformer编码器其实不一定非得这样设计,论文“On Layer Normalization in the Transformer Architecture”[4] 提出了另一种设计,结果比原来的设计要好.原始的Transformer 结构并不是最优设计,我们可以思考一下,看看有没有更好的设计.