← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9687.j · 生成模型:DeepSeek-V4.1-Flash

PaLM 的工程化改造

理解等级:中级

PaLM 是仅解码器架构,但在一批细节上偏离原始 Transformer。这些改动大多不改变目标函数,只改计算图与数值性质,因此可直接迁移。

  • SwiGLU 激活:多层感知器中间层用带门控的激活,加权门控选择性地把信息传到下一层,质量优于 ReLU、GeLU、Swish。
  • 并行层:注意力与多层感知器并行而非串行,大规模训练提速约 15%,代价是表达略受限。
  • 多查询注意力:多个查询头共享同一份键值,削减自回归解码的缓存与带宽开销。
  • RoPE 位置编码:用周期函数编码位置,替代绝对或相对位置嵌入,对长程依赖更友好。
  • 稳定性:共享输入与输出嵌入矩阵,层范数与密集层不用偏置。
  • 词表:256k 词元的 SentencePiece,覆盖多语言又避免过度切分。

LLaMA 后来沿用其中多项(Pre-LN、SwiGLU、RoPE、AdamW、余弦学习率),这套组合已成仅解码器模型的常见配置。选择时注意它们相互耦合:并行层要配合特定初始化与学习率才稳,单独替换某一项未必有收益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「该模型在其多层感知器中间激活中加入了SwiGLU激活,与传统的ReL…」为中心展开,本卡的核心判断「PaLM 是仅解码器架构,但在一批细节上偏离原始 Transformer。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:该模型在其多层感知器中间激活中加入了SwiGLU激活,与传统的ReLU、GeLU或Swish激活相比,质量得到显著提高。