来源书籍

大模型技术30讲

Skill 版本:v24 109 张卡片

塞巴斯蒂安·拉施卡(Sebastian Raschka)

章节与卡片

00

5 张卡片
  1. 三十讲五部分技术栈 理解等级:初级 结构图卡
  2. 一问一答的章节结构 理解等级:初级 问题卡
  3. 从入门到专家的第二段路 理解等级:初级 普通读书笔记卡
  4. 机器学习统称三者的口径 理解等级:初级 普通读书笔记卡
  5. 单章独立与顺序通读 理解等级:初级 操作参考卡

01

2 张卡片
  1. 嵌入是保结构的映射 理解等级:中级 普通读书笔记卡
  2. 嵌入、潜空间与表征三者关系 理解等级:中级 结构图卡

02

4 张卡片
  1. 自监督与迁移学习的分野 理解等级:中级 问题卡
  2. 自监督只对大模型划算 理解等级:中级 问题卡
  3. 自预测与对比两条路线 理解等级:高级 结构图卡
  4. 对比学习:拉近正例推远负例 理解等级:高级 普通读书笔记卡

03

3 张卡片
  1. 用N-way K-shot描述任务 理解等级:初级 普通读书笔记卡
  2. 支撑集与回合的训练法 理解等级:中级 结构图卡
  3. 小样本靠嵌入做最近邻 理解等级:中级 问题卡

04

2 张卡片
  1. 中奖彩票:剪枝后的子网络 理解等级:高级 结构图卡
  2. 彩票假设的收益与代价 理解等级:中级 问题卡

05

4 张卡片
  1. 用学习曲线诊断过拟合 理解等级:中级 操作参考卡
  2. 数据增强为何抗过拟合 理解等级:中级 普通读书笔记卡
  3. 预训练给小数据集兜底 理解等级:中级 普通读书笔记卡
  4. 数据端的其他降过拟合手段 理解等级:中级 普通读书笔记卡

06

4 张卡片
  1. 权重衰减与L2正则化 理解等级:中级 普通读书笔记卡
  2. Dropout与早停法 理解等级:中级 普通读书笔记卡
  3. 剪枝与知识蒸馏 理解等级:中级 结构图卡
  4. K折交叉验证构建集成 理解等级:中级 结构图卡

07

4 张卡片
  1. 模型并行与张量并行 理解等级:中级 普通读书笔记卡
  2. 数据并行的梯度汇总 理解等级:中级 普通读书笔记卡
  3. 流水线并行的微批量 理解等级:高级 结构图卡
  4. 序列并行切分长序列 理解等级:高级 普通读书笔记卡

08

3 张卡片
  1. 自注意力的动态权重 理解等级:中级 普通读书笔记卡
  2. 自监督预训练的目标 理解等级:中级 普通读书笔记卡
  3. 规模扩张与并行化 理解等级:高级 普通读书笔记卡

09

5 张卡片
  1. 生成式与判别式之分 理解等级:初级 普通读书笔记卡
  2. 能量模型与深度玻尔兹曼机 理解等级:高级 普通读书笔记卡
  3. VAE与GAN的潜空间 理解等级:中级 普通读书笔记卡
  4. 流模型与自回归的似然 理解等级:高级 普通读书笔记卡
  5. 扩散模型与一致性模型 理解等级:中级 普通读书笔记卡

10

1 张卡片
  1. 训练随机性的五类来源 理解等级:中级 普通读书笔记卡

11

3 张卡片
  1. 卷积层参数量公式 理解等级:初级 操作参考卡
  2. 全连接层参数量公式 理解等级:初级 操作参考卡
  3. 参数量估算显存占用 理解等级:中级 操作参考卡

12

2 张卡片
  1. 卷积核与输入同尺寸的等价 理解等级:中级 普通读书笔记卡
  2. 1×1卷积等价全连接 理解等级:中级 普通读书笔记卡

13

4 张卡片
  1. 归纳偏置 理解等级:初级 普通读书笔记卡
  2. CNN的四类归纳偏置 理解等级:中级 结构图卡
  3. 平移等变与平移不变 理解等级:高级 普通读书笔记卡
  4. ViT为何依赖超大数据集 理解等级:中级 结构图卡

14

3 张卡片
  1. 分布假设 理解等级:初级 普通读书笔记卡
  2. CBOW与跳字模型 理解等级:中级 普通读书笔记卡
  3. 掩码语言模型与下一词预测 理解等级:中级 普通读书笔记卡

15

3 张卡片
  1. 词级文本增强三法 理解等级:初级 结构图卡
  2. 回译增强 理解等级:中级 操作参考卡
  3. 文本增强的适用边界 理解等级:中级 普通读书笔记卡

16

4 张卡片
  1. 自注意力与Bahdanau之别 理解等级:初级 普通读书笔记卡
  2. 单一隐藏状态的翻译瓶颈 理解等级:中级 普通读书笔记卡
  3. 自注意力的四步计算 理解等级:中级 结构图卡
  4. 平方复杂度决定上下文上限 理解等级:中级 普通读书笔记卡

17

4 张卡片
  1. 编码器解码器的双塔分工 理解等级:中级 结构图卡
  2. 掩码语言建模的自监督 理解等级:中级 普通读书笔记卡
  3. 因果掩蔽守住自回归 理解等级:中级 普通读书笔记卡
  4. 三类架构的任务选型 理解等级:中级 普通读书笔记卡

18

5 张卡片
  1. 五种用法的成本阶梯 理解等级:中级 结构图卡
  2. 冻结模型做特征提取 理解等级:初级 普通读书笔记卡
  3. 微调I与微调II的取舍 理解等级:中级 普通读书笔记卡
  4. 上下文学习与提示词调优 理解等级:中级 普通读书笔记卡
  5. PEFT的四种改法 理解等级:高级 普通读书笔记卡

19

4 张卡片
  1. 困惑度衡量预测的不确定性 理解等级:中级 普通读书笔记卡
  2. BLEU的精确率与短句惩罚 理解等级:中级 普通读书笔记卡
  3. ROUGE的召回视角 理解等级:中级 普通读书笔记卡
  4. BERTScore的语义对齐 理解等级:高级 普通读书笔记卡

20

3 张卡片
  1. 无状态重训练像滑动窗口 理解等级:初级 普通读书笔记卡
  2. 有状态训练不必存旧数据 理解等级:中级 普通读书笔记卡
  3. 两种训练流程的分岔 理解等级:中级 普通读书笔记卡

21

3 张卡片
  1. 先把数据修好再调模型 理解等级:初级 普通读书笔记卡
  2. 百条样本抵十亿参数 理解等级:中级 普通读书笔记卡
  3. 一次只改一个变量 理解等级:中级 普通读书笔记卡

22

3 张卡片
  1. 批量推理拿延迟换吞吐 理解等级:初级 普通读书笔记卡
  2. 向量化与分块各司其职 理解等级:中级 普通读书笔记卡
  3. 量化用精度换显存 理解等级:中级 普通读书笔记卡

23

2 张卡片
  1. 四类偏移只看两个分布 理解等级:中级 普通读书笔记卡
  2. 没有标签也能发现偏移 理解等级:高级 普通读书笔记卡

24

2 张卡片
  1. 计数目标才配泊松回归 理解等级:中级 普通读书笔记卡
  2. 序回归只认顺序不认间距 理解等级:中级 普通读书笔记卡

25

4 张卡片
  1. 置信区间是命中率的承诺 理解等级:初级 普通读书笔记卡
  2. 正态近似区间算得最快 理解等级:中级 操作参考卡
  3. 重采样家族:三种花法 理解等级:中级 普通读书笔记卡
  4. 贝叶斯区间换的是问题 理解等级:中级 普通读书笔记卡

26

3 张卡片
  1. 置信区间管参数,预测区间管个体 理解等级:初级 普通读书笔记卡
  2. 共形预测的三步流水线 理解等级:中级 结构图卡
  3. 有限样本覆盖是共形的底牌 理解等级:高级 普通读书笔记卡

27

3 张卡片
  1. 合适度量的三条硬杠 理解等级:中级 普通读书笔记卡
  2. 平方误差差一个根号 理解等级:中级 普通读书笔记卡
  3. 交叉熵三条全不满足 理解等级:高级 普通读书笔记卡

28

3 张卡片
  1. k值的偏差与方差 理解等级:中级 普通读书笔记卡
  2. 五折与十折的惯例 理解等级:初级 普通读书笔记卡
  3. 调参用小k评测用大k 理解等级:高级 操作参考卡

29

3 张卡片
  1. 先怀疑代码再怀疑数据 理解等级:初级 问题卡
  2. 对抗验证辨分布 理解等级:中级 结构图卡
  3. 分布差异怎么补救 理解等级:高级 操作参考卡

30

4 张卡片
  1. 标签不够时的技术地图 理解等级:中级 普通读书笔记卡
  2. 主动学习挑什么样本 理解等级:中级 普通读书笔记卡
  3. 弱监督与半监督的分界 理解等级:高级 普通读书笔记卡
  4. 迁移学习不是万能 理解等级:中级 普通读书笔记卡

31

1 张卡片
  1. 全书的三条主线 理解等级:初级 普通读书笔记卡

32

6 张卡片
  1. Adam 的显存要按参数翻倍 理解等级:中级 问题卡
  2. 批归一化参数按通道翻倍 理解等级:中级 问题卡
  3. 自注意力复杂度为何是平方 理解等级:中级 问题卡
  4. MAE 天然满足距离三公理 理解等级:中级 问题卡
  5. RMSE 为何总不小于 MAE 理解等级:中级 问题卡
  6. 对抗验证的基线不是一半 理解等级:高级 问题卡

全书概览

大模型技术30讲

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

信息浓度:高。三十讲每讲都以一个具体问题开篇,答案在前三段给出,随后解释为什么——而不是罗列术语。例如”何时能用卷积层替代全连接层”不是给结论,而是指出两种极限情形(核尺寸等于输入尺寸、1×1 卷积),并说明二者共同的机制是逐元素相乘求和与点积同构、差别只在权重是否在空间上被复用。再如”ViT 为什么需要大数据集”把根因落在归纳偏置上:CNN 把局部性、权值共享、平移等变写进结构,ViT 把自由度交给数据。这类回答密度很高,且几乎每讲都附练习并在附录给出核算过程。

稳定性:中。机制层面的判断(自注意力的动态权重、彩票假设的剪枝-重置流程、置信区间的频率派含义、度量三公理、k 的偏差-方差-算力交换)五到十年不会过时;但涉及具体数字与工具的部分会老化——多 GPU 模式的通信开销、推理加速的加速比、预训练模型的六档适配成本、生成指标与人类判断的相关性,都随硬件与模型换代而变。作者在前言里已声明只讲模式不讲版本,这让正文的判断比同类书耐久,但仍需在自己的环境重测具体数值。

四象限定位:高浓度 × 中稳定 → 工程实践(第二级别)。第五部分(评测与统计)接近经典原理,第四部分(生产与部署)最接近工程实践,整体按中位定级。

内容形态:主体为问题思考型——全书三十讲都以”是什么/为什么/怎么选”的提问开篇,再给判断标准与展开,符合”问题→分析→方案与权衡”的结构,因此逐讲按问题卡与普通读书笔记卡混合取材;局部为操作参考型(第 11 讲数参数量、第 22 讲推理加速手段按对象分组罗列)。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 序言 done 1
00 致谢 done 0
00 前言 done 4
01 第1章 嵌入、潜空间和表征 done 2
02 第2章 自监督学习 done 4
03 第3章 小样本学习 done 3
04 第4章 彩票假设 done 2
05 第5章 利用数据来减少过拟合现象 done 4
06 第6章 通过改进模型减少过拟合现象 done 4
07 第7章 多GPU训练模式 done 4
08 第8章 Transformer架构的成功 done 3
09 第9章 生成式AI模型 done 5
10 第10章 随机性的由来 done 1
11 第11章 计算参数量 done 3
12 第12章 全连接层和卷积层 done 2
13 第13章 ViT架构所需的大型训练集 done 4
14 第14章 分布假设 done 3
15 第15章 文本数据增强 done 3
16 第16章 自注意力 done 4
17 第17章 编码器和解码器风格的Transformer架构 done 4
18 第18章 使用和微调预训练Transformer done 5
19 第19章 评测生成式大模型 done 4
20 第20章 无状态训练与有状态训练 done 3
21 第21章 以数据为中心的人工智能 done 3
22 第22章 加速推理 done 3
23 第23章 数据分布偏移 done 2
24 第24章 泊松回归与序回归 done 2
25 第25章 置信区间 done 4
26 第26章 置信区间与共形预测 done 3
27 第27章 合适的模型度量 done 3
28 第28章 k折交叉验证中的k done 3
29 第29章 训练集和测试集的不一致性 done 3
30 第30章 有限的有标签数据 done 4
31 后记 done 1
32 附录 练习答案 done 6

合计 109 张知识卡(普通读书笔记卡 72 / 结构图卡 16 / 问题卡 12 / 操作参考卡 9)。致谢一章 0 卡,理由见下表与 _coverage.md。

非正文排除

spine项 类型 排除理由
spine[0] titlepage.xhtml 封面 仅”Cover”占位,无正文
spine[1] chapter01.xhtml 献词页 46 字符的题献,无知识内容
spine[5] / [16] / [20] / [27] / [32] chapter01_0004/0015/0019/0026/0031.xhtml 部分扉页 ×5 分别只有 29 / 21 / 23 / 21 / 29 字符,仅重复”第N部分 XXX”标题,无导语与论述
spine[42] daima.xhtml 字体版权页 Adobe 字体授权声明,与本书内容无关

另:致谢(spine[3],320 字符)列入正文并读完,因只交代成书协作与评审,无独立知识内容,记 0 卡;理由已写入 _coverage.md 对应章。

待关联术语

术语名 出现章节 一句话语境
— — 无合格待关联术语:三十讲中凡有实质解释的概念已成卡;仅点名未展开的工具与产品按下方引用文献登记,不重复占两表

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
RLHF 框架 第18章 作为适配预训练模型的最高一档(奖励模型加 PPO)被点名,未展开训练细节
BERTScore 论文 第19章 作为外在评价指标之一被提及与对比,未展开其嵌入相似度计算
迭代幅值剪枝 框架 第4章 作为挖出”中奖彩票”的手段被点出流程(训练→剪小权重→重置初值→重训),未给完整实现

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 用学习曲线判断该加数据还是改模型 真实任务 done 第5章 → 笔记 idea-001(计划交付,未执行)
2 给模型指标加一个置信区间 真实任务 done 第25章 → 笔记 idea-002(计划交付,未执行)
3 给线上模型做一次分布偏移体检 真实任务 done 第23章 → 笔记 idea-003(计划交付,未执行)

实践候选筛选:done

未采用候选及原因:①「按第 4 讲复现彩票假设」——需完整训练多个大网络并做多轮剪枝重训,单机算力与时间不允许,且结论高度依赖初始化,改为读书笔记条目;②「按第 7 讲实现张量并行」——需多卡环境,产出(一个并行实现)不足以检验书中判据;③「按第 18 讲跑完六档适配阶梯」——成本过高且与第 1 张实践卡的学习曲线判断部分重叠;④「按第 26 讲实现共形预测」——已并入第 2 张实践卡的”改用 bootstrap 或共形预测”分支,避免碎卡。其余候选(如文本增强三法、参数量核算脚本)缺少可量化的验收口径,未单独成卡。

遗留与局限

  1. 本地 EPUB 未包含版权页,publisher / publication_date / edition / isbn 无法从原书核验,front matter 显式记为 null;书名与作者取自书名页与正文署名。
  2. 书中插图(自注意力示意、编解码器数据通路、六档适配阶梯、偏移判别表等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
  3. 附录的练习答案只对其中给出增量论证的题目成卡(6 张),纯复述正文结论的答案按”不重复生卡”处理,未逐题立卡——这一点在 _coverage.md 附录单元中记录。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。