知识卡片
逐点前馈网络
point_wise_feed_forward_network是一个两层全连接网络:先把d_model维升到dff(如128升到512),经ReLU后再投影回d_model。它逐位置独立作用,不与序列其他位置交互,因此称为point-wise;职责是在注意力聚合上下文之后做非线性特征变换。EncoderLayer与DecoderLayer共用这一组件,FFN之后接Dropout、残差与LayerNorm。边界在于dff过小会限制表达能力,过大则增加参数与过拟合风险,需结合d_model权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 用Transformer实现英译中 · 查看原书依据
这里FFN 对输入做两个线性转换,中间加一个ReLU激活函数 return tf.keras.Sequential([ tf.keras.layers.Dense(dff, activation='relu'), # (batch_size, seq_len, dff)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml)
- 结论依据:原文说明该FFN对输入做两个线性转换,中间加一个ReLU激活函数。
- 原始内容:这里FFN 对输入做两个线性转换,中间加一个ReLU激活函数 return tf.keras.Sequential([ tf.keras.layers.Dense(dff, activation='relu'), # (batch_size, seq_len, dff)