来源书籍
大模型技术30讲
章节与卡片
00
5 张卡片
- 三十讲五部分技术栈 理解等级:初级 结构图卡
- 一问一答的章节结构 理解等级:初级 问题卡
- 从入门到专家的第二段路 理解等级:初级 普通读书笔记卡
- 机器学习统称三者的口径 理解等级:初级 普通读书笔记卡
- 单章独立与顺序通读 理解等级:初级 操作参考卡
01
2 张卡片
- 嵌入是保结构的映射 理解等级:中级 普通读书笔记卡
- 嵌入、潜空间与表征三者关系 理解等级:中级 结构图卡
02
4 张卡片
- 自监督与迁移学习的分野 理解等级:中级 问题卡
- 自监督只对大模型划算 理解等级:中级 问题卡
- 自预测与对比两条路线 理解等级:高级 结构图卡
- 对比学习:拉近正例推远负例 理解等级:高级 普通读书笔记卡
03
3 张卡片
- 用N-way K-shot描述任务 理解等级:初级 普通读书笔记卡
- 支撑集与回合的训练法 理解等级:中级 结构图卡
- 小样本靠嵌入做最近邻 理解等级:中级 问题卡
04
2 张卡片
- 中奖彩票:剪枝后的子网络 理解等级:高级 结构图卡
- 彩票假设的收益与代价 理解等级:中级 问题卡
05
4 张卡片
- 用学习曲线诊断过拟合 理解等级:中级 操作参考卡
- 数据增强为何抗过拟合 理解等级:中级 普通读书笔记卡
- 预训练给小数据集兜底 理解等级:中级 普通读书笔记卡
- 数据端的其他降过拟合手段 理解等级:中级 普通读书笔记卡
06
4 张卡片
- 权重衰减与L2正则化 理解等级:中级 普通读书笔记卡
- Dropout与早停法 理解等级:中级 普通读书笔记卡
- 剪枝与知识蒸馏 理解等级:中级 结构图卡
- K折交叉验证构建集成 理解等级:中级 结构图卡
07
4 张卡片
09
5 张卡片
- 生成式与判别式之分 理解等级:初级 普通读书笔记卡
- 能量模型与深度玻尔兹曼机 理解等级:高级 普通读书笔记卡
- VAE与GAN的潜空间 理解等级:中级 普通读书笔记卡
- 流模型与自回归的似然 理解等级:高级 普通读书笔记卡
- 扩散模型与一致性模型 理解等级:中级 普通读书笔记卡
10
1 张卡片
- 训练随机性的五类来源 理解等级:中级 普通读书笔记卡
12
2 张卡片
- 卷积核与输入同尺寸的等价 理解等级:中级 普通读书笔记卡
- 1×1卷积等价全连接 理解等级:中级 普通读书笔记卡
13
4 张卡片
- 归纳偏置 理解等级:初级 普通读书笔记卡
- CNN的四类归纳偏置 理解等级:中级 结构图卡
- 平移等变与平移不变 理解等级:高级 普通读书笔记卡
- ViT为何依赖超大数据集 理解等级:中级 结构图卡
14
3 张卡片
- 分布假设 理解等级:初级 普通读书笔记卡
- CBOW与跳字模型 理解等级:中级 普通读书笔记卡
- 掩码语言模型与下一词预测 理解等级:中级 普通读书笔记卡
16
4 张卡片
- 自注意力与Bahdanau之别 理解等级:初级 普通读书笔记卡
- 单一隐藏状态的翻译瓶颈 理解等级:中级 普通读书笔记卡
- 自注意力的四步计算 理解等级:中级 结构图卡
- 平方复杂度决定上下文上限 理解等级:中级 普通读书笔记卡
17
4 张卡片
- 编码器解码器的双塔分工 理解等级:中级 结构图卡
- 掩码语言建模的自监督 理解等级:中级 普通读书笔记卡
- 因果掩蔽守住自回归 理解等级:中级 普通读书笔记卡
- 三类架构的任务选型 理解等级:中级 普通读书笔记卡
18
5 张卡片
- 五种用法的成本阶梯 理解等级:中级 结构图卡
- 冻结模型做特征提取 理解等级:初级 普通读书笔记卡
- 微调I与微调II的取舍 理解等级:中级 普通读书笔记卡
- 上下文学习与提示词调优 理解等级:中级 普通读书笔记卡
- PEFT的四种改法 理解等级:高级 普通读书笔记卡
19
4 张卡片
- 困惑度衡量预测的不确定性 理解等级:中级 普通读书笔记卡
- BLEU的精确率与短句惩罚 理解等级:中级 普通读书笔记卡
- ROUGE的召回视角 理解等级:中级 普通读书笔记卡
- BERTScore的语义对齐 理解等级:高级 普通读书笔记卡
20
3 张卡片
- 无状态重训练像滑动窗口 理解等级:初级 普通读书笔记卡
- 有状态训练不必存旧数据 理解等级:中级 普通读书笔记卡
- 两种训练流程的分岔 理解等级:中级 普通读书笔记卡
21
3 张卡片
- 先把数据修好再调模型 理解等级:初级 普通读书笔记卡
- 百条样本抵十亿参数 理解等级:中级 普通读书笔记卡
- 一次只改一个变量 理解等级:中级 普通读书笔记卡
22
3 张卡片
- 批量推理拿延迟换吞吐 理解等级:初级 普通读书笔记卡
- 向量化与分块各司其职 理解等级:中级 普通读书笔记卡
- 量化用精度换显存 理解等级:中级 普通读书笔记卡
23
2 张卡片
- 四类偏移只看两个分布 理解等级:中级 普通读书笔记卡
- 没有标签也能发现偏移 理解等级:高级 普通读书笔记卡
24
2 张卡片
- 计数目标才配泊松回归 理解等级:中级 普通读书笔记卡
- 序回归只认顺序不认间距 理解等级:中级 普通读书笔记卡
25
4 张卡片
- 置信区间是命中率的承诺 理解等级:初级 普通读书笔记卡
- 正态近似区间算得最快 理解等级:中级 操作参考卡
- 重采样家族:三种花法 理解等级:中级 普通读书笔记卡
- 贝叶斯区间换的是问题 理解等级:中级 普通读书笔记卡
26
3 张卡片
- 置信区间管参数,预测区间管个体 理解等级:初级 普通读书笔记卡
- 共形预测的三步流水线 理解等级:中级 结构图卡
- 有限样本覆盖是共形的底牌 理解等级:高级 普通读书笔记卡
28
3 张卡片
- k值的偏差与方差 理解等级:中级 普通读书笔记卡
- 五折与十折的惯例 理解等级:初级 普通读书笔记卡
- 调参用小k评测用大k 理解等级:高级 操作参考卡
29
3 张卡片
- 先怀疑代码再怀疑数据 理解等级:初级 问题卡
- 对抗验证辨分布 理解等级:中级 结构图卡
- 分布差异怎么补救 理解等级:高级 操作参考卡
30
4 张卡片
- 标签不够时的技术地图 理解等级:中级 普通读书笔记卡
- 主动学习挑什么样本 理解等级:中级 普通读书笔记卡
- 弱监督与半监督的分界 理解等级:高级 普通读书笔记卡
- 迁移学习不是万能 理解等级:中级 普通读书笔记卡
31
1 张卡片
- 全书的三条主线 理解等级:初级 普通读书笔记卡
32
6 张卡片
- Adam 的显存要按参数翻倍 理解等级:中级 问题卡
- 批归一化参数按通道翻倍 理解等级:中级 问题卡
- 自注意力复杂度为何是平方 理解等级:中级 问题卡
- MAE 天然满足距离三公理 理解等级:中级 问题卡
- RMSE 为何总不小于 MAE 理解等级:中级 问题卡
- 对抗验证的基线不是一半 理解等级:高级 问题卡
全书概览
大模型技术30讲
执行模式:light
建档进度:done
Skill 版本:v24
整体评级
信息浓度:高。三十讲每讲都以一个具体问题开篇,答案在前三段给出,随后解释为什么——而不是罗列术语。例如”何时能用卷积层替代全连接层”不是给结论,而是指出两种极限情形(核尺寸等于输入尺寸、1×1 卷积),并说明二者共同的机制是逐元素相乘求和与点积同构、差别只在权重是否在空间上被复用。再如”ViT 为什么需要大数据集”把根因落在归纳偏置上:CNN 把局部性、权值共享、平移等变写进结构,ViT 把自由度交给数据。这类回答密度很高,且几乎每讲都附练习并在附录给出核算过程。
稳定性:中。机制层面的判断(自注意力的动态权重、彩票假设的剪枝-重置流程、置信区间的频率派含义、度量三公理、k 的偏差-方差-算力交换)五到十年不会过时;但涉及具体数字与工具的部分会老化——多 GPU 模式的通信开销、推理加速的加速比、预训练模型的六档适配成本、生成指标与人类判断的相关性,都随硬件与模型换代而变。作者在前言里已声明只讲模式不讲版本,这让正文的判断比同类书耐久,但仍需在自己的环境重测具体数值。
四象限定位:高浓度 × 中稳定 → 工程实践(第二级别)。第五部分(评测与统计)接近经典原理,第四部分(生产与部署)最接近工程实践,整体按中位定级。
内容形态:主体为问题思考型——全书三十讲都以”是什么/为什么/怎么选”的提问开篇,再给判断标准与展开,符合”问题→分析→方案与权衡”的结构,因此逐讲按问题卡与普通读书笔记卡混合取材;局部为操作参考型(第 11 讲数参数量、第 22 讲推理加速手段按对象分组罗列)。
整书笔记
阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。
章节进度追踪
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 序言 | done | 1 |
| 00 | 致谢 | done | 0 |
| 00 | 前言 | done | 4 |
| 01 | 第1章 嵌入、潜空间和表征 | done | 2 |
| 02 | 第2章 自监督学习 | done | 4 |
| 03 | 第3章 小样本学习 | done | 3 |
| 04 | 第4章 彩票假设 | done | 2 |
| 05 | 第5章 利用数据来减少过拟合现象 | done | 4 |
| 06 | 第6章 通过改进模型减少过拟合现象 | done | 4 |
| 07 | 第7章 多GPU训练模式 | done | 4 |
| 08 | 第8章 Transformer架构的成功 | done | 3 |
| 09 | 第9章 生成式AI模型 | done | 5 |
| 10 | 第10章 随机性的由来 | done | 1 |
| 11 | 第11章 计算参数量 | done | 3 |
| 12 | 第12章 全连接层和卷积层 | done | 2 |
| 13 | 第13章 ViT架构所需的大型训练集 | done | 4 |
| 14 | 第14章 分布假设 | done | 3 |
| 15 | 第15章 文本数据增强 | done | 3 |
| 16 | 第16章 自注意力 | done | 4 |
| 17 | 第17章 编码器和解码器风格的Transformer架构 | done | 4 |
| 18 | 第18章 使用和微调预训练Transformer | done | 5 |
| 19 | 第19章 评测生成式大模型 | done | 4 |
| 20 | 第20章 无状态训练与有状态训练 | done | 3 |
| 21 | 第21章 以数据为中心的人工智能 | done | 3 |
| 22 | 第22章 加速推理 | done | 3 |
| 23 | 第23章 数据分布偏移 | done | 2 |
| 24 | 第24章 泊松回归与序回归 | done | 2 |
| 25 | 第25章 置信区间 | done | 4 |
| 26 | 第26章 置信区间与共形预测 | done | 3 |
| 27 | 第27章 合适的模型度量 | done | 3 |
| 28 | 第28章 k折交叉验证中的k | done | 3 |
| 29 | 第29章 训练集和测试集的不一致性 | done | 3 |
| 30 | 第30章 有限的有标签数据 | done | 4 |
| 31 | 后记 | done | 1 |
| 32 | 附录 练习答案 | done | 6 |
合计 109 张知识卡(普通读书笔记卡 72 / 结构图卡 16 / 问题卡 12 / 操作参考卡 9)。致谢一章 0 卡,理由见下表与 _coverage.md。
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| spine[0] titlepage.xhtml | 封面 | 仅”Cover”占位,无正文 |
| spine[1] chapter01.xhtml | 献词页 | 46 字符的题献,无知识内容 |
| spine[5] / [16] / [20] / [27] / [32] chapter01_0004/0015/0019/0026/0031.xhtml | 部分扉页 ×5 | 分别只有 29 / 21 / 23 / 21 / 29 字符,仅重复”第N部分 XXX”标题,无导语与论述 |
| spine[42] daima.xhtml | 字体版权页 | Adobe 字体授权声明,与本书内容无关 |
另:致谢(spine[3],320 字符)列入正文并读完,因只交代成书协作与评审,无独立知识内容,记 0 卡;理由已写入 _coverage.md 对应章。
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| — | — | 无合格待关联术语:三十讲中凡有实质解释的概念已成卡;仅点名未展开的工具与产品按下方引用文献登记,不重复占两表 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| RLHF | 框架 | 第18章 | 作为适配预训练模型的最高一档(奖励模型加 PPO)被点名,未展开训练细节 |
| BERTScore | 论文 | 第19章 | 作为外在评价指标之一被提及与对比,未展开其嵌入相似度计算 |
| 迭代幅值剪枝 | 框架 | 第4章 | 作为挖出”中奖彩票”的手段被点出流程(训练→剪小权重→重置初值→重训),未给完整实现 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| — | — | — | — | 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 用学习曲线判断该加数据还是改模型 | 真实任务 | done | 第5章 → 笔记 | idea-001(计划交付,未执行) |
| 2 | 给模型指标加一个置信区间 | 真实任务 | done | 第25章 → 笔记 | idea-002(计划交付,未执行) |
| 3 | 给线上模型做一次分布偏移体检 | 真实任务 | done | 第23章 → 笔记 | idea-003(计划交付,未执行) |
实践候选筛选:done
未采用候选及原因:①「按第 4 讲复现彩票假设」——需完整训练多个大网络并做多轮剪枝重训,单机算力与时间不允许,且结论高度依赖初始化,改为读书笔记条目;②「按第 7 讲实现张量并行」——需多卡环境,产出(一个并行实现)不足以检验书中判据;③「按第 18 讲跑完六档适配阶梯」——成本过高且与第 1 张实践卡的学习曲线判断部分重叠;④「按第 26 讲实现共形预测」——已并入第 2 张实践卡的”改用 bootstrap 或共形预测”分支,避免碎卡。其余候选(如文本增强三法、参数量核算脚本)缺少可量化的验收口径,未单独成卡。
遗留与局限
- 本地 EPUB 未包含版权页,
publisher/publication_date/edition/isbn无法从原书核验,front matter 显式记为 null;书名与作者取自书名页与正文署名。 - 书中插图(自注意力示意、编解码器数据通路、六档适配阶梯、偏移判别表等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
- 附录的练习答案只对其中给出增量论证的题目成卡(6 张),纯复述正文结论的答案按”不重复生卡”处理,未逐题立卡——这一点在
_coverage.md附录单元中记录。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。