← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9861.j · 生成模型:Hunyuan

逐点前馈网络

理解等级:初级

point_wise_feed_forward_network是一个两层全连接网络:先把d_model维升到dff(如128升到512),经ReLU后再投影回d_model。它逐位置独立作用,不与序列其他位置交互,因此称为point-wise;职责是在注意力聚合上下文之后做非线性特征变换。EncoderLayer与DecoderLayer共用这一组件,FFN之后接Dropout、残差与LayerNorm。边界在于dff过小会限制表达能力,过大则增加参数与过拟合风险,需结合d_model权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第12章 用Transformer实现英译中(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter16_0003.xhtml) - 结论依据:原文说明该FFN对输入做两个线性转换,中间加一个ReLU激活函数。 - 原始内容:这里FFN 对输入做两个线性转换,中间加一个ReLU激活函数 return tf.keras.Sequential([ tf.keras.layers.Dense(dff, activation='relu'), # (batch_size, seq_len, dff)