← 返回刚才阅读的位置

知识卡片

结构图卡 · 9683.a · 生成模型:DeepSeek-V4.1-Flash

十二章的三段路线

理解等级:初级

全书十二章可以看成三段:先建立”语言模型是什么、怎么被训练出来”,再看”规模上去之后出现了哪些新结构与新问题”,最后处理”如何让模型跟人配合、如何评估它的代价”。

  • 基础段(第1—5章):语言建模与分词给出输入输出的基本单位,Transformer 给出计算结构,预训练目标与解码策略决定模型学什么、怎么吐字,上下文学习与轻量微调决定怎么用。
  • 扩展段(第6—8章):训练更大模型把算力、显存与并行摊开,稀疏专家模型用激活稀疏换容量,检索增强把一部分记忆移出参数。
  • 对齐与落地段(第9—12章):人类偏好对齐、偏见与有害性的削减、视觉语言模型、环境代价。

三段之间是承接关系而不是并列:第5章的微调依赖第3、4章的结构与目标;第7、8章的效率方案只有在第6章的并行与精度背景下才成立;第9章之后的所有讨论,都以”模型已被对齐成可对话的形态”为前提。

结构图:

flowchart TD
  B[全书十二章] --> A[基础: 语言建模与结构]
  B --> C[扩展: 规模与效率]
  B --> D[对齐与落地]
  A --> A1[分词与语言模型]
  A --> A2[Transformer]
  A --> A3[预训练目标与解码]
  A --> A4[上下文学习与微调]
  C --> C1[训练更大的模型]
  C --> C2[稀疏专家模型]
  C --> C3[检索增强]
  D --> D1[偏好对齐]
  D --> D2[偏见与有害性]
  D --> D3[视觉语言模型与环境代价]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 前言 · 查看原书依据

      第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和分词的基础知识。第3章深入阐释了Transformer架构。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》前言(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter2.xhtml) - 结论依据:原文该段以「第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和…」为中心展开,本卡的核心判断「全书十二章可以看成三段:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:第1章概述了LLM的辩论、争议和未来发展方向。第2章讨论了语言模型和分词的基础知识。第3章深入阐释了Transformer架构。