← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.d · 生成模型:DeepSeek-V4.1-Flash

前馈层:逐位置的通道变换

理解等级:中级

结构:两层线性变换夹一个非线性,维度先升到 d_ff(常见为 4d)再降回 d,对序列中每个位置独立施加同一组权重。

分工:注意力负责跨位置混合信息,决定“看哪里”;前馈层不与其他位置交互,只在每个位置内部做通道维的变换,负责特征组合与非线性提炼。可以把它理解为每个位置各自过一遍小型多层感知机。

等价形式:因为对每个位置用同一组参数、且不看邻域,它等价于卷积核大小为 1 的卷积,容易写成高效的大矩阵乘法,在 GPU 上很友好。

成本与影响:参数量通常占整层的大头,复杂度随序列长度线性、随隐藏维度平方增长。因此剪枝、量化、条件计算都优先盯住它;CoLT5 一类方法也是让不重要的词元跳过重型前馈层来省算力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      多头自注意力层允许编码器有效地捕捉输入序列中的长程依赖关系和上下文,而逐点全连接前馈网络对序列中的每个元素应用相同的线性变换。这可以看作滤波器大小为1的卷积层,计算效率很高。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「多头自注意力层允许编码器有效地捕捉输入序列中的长程依赖关系和上下文,…」为中心展开,本卡的核心判断「结构:两层线性变换夹一个非线性,维度先升到 d_ff(常见为 4d)再降回 d,对序列中每个位置独立施加同一组权重。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:多头自注意力层允许编码器有效地捕捉输入序列中的长程依赖关系和上下文,而逐点全连接前馈网络对序列中的每个元素应用相同的线性变换。这可以看作滤波器大小为1的卷积层,计算效率很高。