知识卡片
十二章的三段路线
全书十二章可以看成三段:先建立”语言模型是什么、怎么被训练出来”,再看”规模上去之后出现了哪些新结构与新问题”,最后处理”如何让模型跟人配合、如何评估它的代价”。
- 基础段(第1—5章):语言建模与分词给出输入输出的基本单位,Transformer 给出计算结构,预训练目标与解码策略决定模型学什么、怎么吐字,上下文学习与轻量微调决定怎么用。
- 扩展段(第6—8章):训练更大模型把算力、显存与并行摊开,稀疏专家模型用激活稀疏换容量,检索增强把一部分记忆移出参数。
- 对齐与落地段(第9—12章):人类偏好对齐、偏见与有害性的削减、视觉语言模型、环境代价。
三段之间是承接关系而不是并列:第5章的微调依赖第3、4章的结构与目标;第7、8章的效率方案只有在第6章的并行与精度背景下才成立;第9章之后的所有讨论,都以”模型已被对齐成可对话的形态”为前提。
结构图:
flowchart TD
B[全书十二章] --> A[基础: 语言建模与结构]
B --> C[扩展: 规模与效率]
B --> D[对齐与落地]
A --> A1[分词与语言模型]
A --> A2[Transformer]
A --> A3[预训练目标与解码]
A --> A4[上下文学习与微调]
C --> C1[训练更大的模型]
C --> C2[稀疏专家模型]
C --> C3[检索增强]
D --> D1[偏好对齐]
D --> D2[偏见与有害性]
D --> D3[视觉语言模型与环境代价]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 前言
原书出处 · 1 处
- 前言 · 查看原书依据
第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和分词的基础知识。第3章深入阐释了Transformer架构。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》前言(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter2.xhtml)
- 结论依据:原文该段以「第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和…」为中心展开,本卡的核心判断「全书十二章可以看成三段:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和分词的基础知识。第3章深入阐释了Transformer架构。