知识卡片
PaLM 的工程化改造
PaLM 是仅解码器架构,但在一批细节上偏离原始 Transformer。这些改动大多不改变目标函数,只改计算图与数值性质,因此可直接迁移。
- SwiGLU 激活:多层感知器中间层用带门控的激活,加权门控选择性地把信息传到下一层,质量优于 ReLU、GeLU、Swish。
- 并行层:注意力与多层感知器并行而非串行,大规模训练提速约 15%,代价是表达略受限。
- 多查询注意力:多个查询头共享同一份键值,削减自回归解码的缓存与带宽开销。
- RoPE 位置编码:用周期函数编码位置,替代绝对或相对位置嵌入,对长程依赖更友好。
- 稳定性:共享输入与输出嵌入矩阵,层范数与密集层不用偏置。
- 词表:256k 词元的 SentencePiece,覆盖多语言又避免过度切分。
LLaMA 后来沿用其中多项(Pre-LN、SwiGLU、RoPE、AdamW、余弦学习率),这套组合已成仅解码器模型的常见配置。选择时注意它们相互耦合:并行层要配合特定初始化与学习率才稳,单独替换某一项未必有收益。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
该模型在其多层感知器中间激活中加入了SwiGLU激活,与传统的ReLU、GeLU或Swish激活相比,质量得到显著提高。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「该模型在其多层感知器中间激活中加入了SwiGLU激活,与传统的ReL…」为中心展开,本卡的核心判断「PaLM 是仅解码器架构,但在一批细节上偏离原始 Transformer。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:该模型在其多层感知器中间激活中加入了SwiGLU激活,与传统的ReLU、GeLU或Swish激活相比,质量得到显著提高。