来源书籍

AI工程:大模型应用开发实战

Skill 版本:v24 经典原理(高信息浓度、高稳定性) 415 张卡片

奇普·萱(Chip Huyen) · 宝玉 译 · 人民邮电出版社 · ISBN 9787115686398

章节与卡片

00 译者序

1 张卡片
  1. 机制比工具耐久 理解等级:高级 普通读书笔记卡

00 前言

5 张卡片
  1. AI工程的适配对象 理解等级:初级 普通读书笔记卡
  2. 熟悉技术仍有新挑战 理解等级:中级 普通读书笔记卡
  3. 先从简单方案验证 理解等级:中级 普通读书笔记卡
  4. 两类ML工程互补 理解等级:中级 延伸参考卡
  5. 林迪定律只作线索 理解等级:中级 普通读书笔记卡

01 基于基础模型构建AI应用入门

48 张卡片
  1. 模型服务降低入口 理解等级:中级 普通读书笔记卡
  2. 语言模型编码统计规律 理解等级:初级 普通读书笔记卡
  3. token与词表共同约束 理解等级:中级 普通读书笔记卡
  4. 掩码与自回归上下文 理解等级:中级 普通读书笔记卡
  5. 补全不等于对话 理解等级:中级 普通读书笔记卡
  6. 自监督从输入构造标签 理解等级:中级 普通读书笔记卡
  7. 序列边界也是训练目标 理解等级:初级 普通读书笔记卡
  8. 参数规模不是固定门槛 理解等级:中级 普通读书笔记卡
  9. 容量需要匹配训练数据 理解等级:中级 普通读书笔记卡
  10. 多模态联合使用输入 理解等级:初级 普通读书笔记卡
  11. 基础模型面向通用适配 理解等级:中级 普通读书笔记卡
  12. CLIP学习图文共同表示 理解等级:中级 延伸参考卡
  13. 通用适配与专用模型 理解等级:高级 普通读书笔记卡
  14. 普及由供需共同推动 理解等级:中级 普通读书笔记卡
  15. 提及AI不证明增长原因 理解等级:高级 普通读书笔记卡
  16. 任务受影响不等于替代 理解等级:高级 延伸参考卡
  17. 开源样本有选择偏差 理解等级:高级 普通读书笔记卡
  18. 封闭任务便于控风险 理解等级:中级 普通读书笔记卡
  19. 编程增益随任务变化 理解等级:高级 普通读书笔记卡
  20. 创意生成用于迭代选择 理解等级:中级 普通读书笔记卡
  21. 写作建议保留人选择 理解等级:中级 普通读书笔记卡
  22. 内容农场放大低质信息 理解等级:中级 普通读书笔记卡
  23. 个性化材料支持学习 理解等级:中级 普通读书笔记卡
  24. 智能NPC突破脚本对话 理解等级:初级 普通读书笔记卡
  25. 聚合信息接入后续行动 理解等级:中级 普通读书笔记卡
  26. 非结构化数据变可检索 理解等级:中级 普通读书笔记卡
  27. 智能体规划并调用工具 理解等级:初级 普通读书笔记卡
  28. 按业务动机判断自建 理解等级:高级 普通读书笔记卡
  29. 关键与辅助决定容错 理解等级:中级 普通读书笔记卡
  30. 主动功能更怕打扰 理解等级:中级 普通读书笔记卡
  31. 动态功能持续适配用户 理解等级:中级 普通读书笔记卡
  32. 人在回路分配决策权 理解等级:中级 普通读书笔记卡
  33. 数据飞轮需要使用反馈 理解等级:中级 普通读书笔记卡
  34. 补模型短板的功能会失效 理解等级:高级 普通读书笔记卡
  35. 业务收益不等于模型指标 理解等级:高级 普通读书笔记卡
  36. 首字延迟与生成速度 理解等级:中级 普通读书笔记卡
  37. 最后一公里改进更难 理解等级:高级 普通读书笔记卡
  38. 模型升级也需要维护 理解等级:高级 普通读书笔记卡
  39. AI工程栈的三层职责 理解等级:中级 普通读书笔记卡
  40. 适配先看是否更新权重 理解等级:中级 普通读书笔记卡
  41. 训练阶段继承不同起点 理解等级:中级 普通读书笔记卡
  42. 改权重不一定是训练 理解等级:中级 普通读书笔记卡
  43. 数据工程随输出开放变化 理解等级:中级 普通读书笔记卡
  44. 逐token生成累积延迟 理解等级:中级 普通读书笔记卡
  45. 开放回答不能穷举答案 理解等级:中级 普通读书笔记卡
  46. 模型比较要对齐协议 理解等级:高级 普通读书笔记卡
  47. AI界面也是反馈入口 理解等级:中级 普通读书笔记卡
  48. 先用产品验证再投模型 理解等级:中级 普通读书笔记卡

02 理解基础模型

75 张卡片
  1. 训练数据限定能力范围 理解等级:中级 普通读书笔记卡
  2. 易取得不等于适合训练 理解等级:中级 普通读书笔记卡
  3. C4并非原始网页全集 理解等级:初级 延伸参考卡
  4. 低资源是训练代表不足 理解等级:中级 普通读书笔记卡
  5. 翻译中转可能丢关系 理解等级:中级 普通读书笔记卡
  6. 语言评估不能只测英语 理解等级:高级 普通读书笔记卡
  7. 分词效率影响多语成本 理解等级:中级 普通读书笔记卡
  8. 领域数据不同于日常问答 理解等级:高级 普通读书笔记卡
  9. 基准只显现部分领域 理解等级:高级 普通读书笔记卡
  10. AlphaFold依赖结构数据 理解等级:初级 延伸参考卡
  11. seq2seq的压缩瓶颈 理解等级:中级 普通读书笔记卡
  12. 循环传播影响梯度稳定 理解等级:中级 普通读书笔记卡
  13. 注意力解开固定摘要 理解等级:中级 普通读书笔记卡
  14. 预填充并行解码串行 理解等级:中级 结构图卡
  15. QKV按需求取信息 理解等级:中级 结构图卡
  16. 多头注意力分视角组合 理解等级:中级 普通读书笔记卡
  17. 长上下文增加KV负担 理解等级:中级 普通读书笔记卡
  18. 激活函数打破线性叠加 理解等级:中级 普通读书笔记卡
  19. Transformer模块分工 理解等级:中级 普通读书笔记卡
  20. 替代架构也要比工程条件 理解等级:高级 普通读书笔记卡
  21. RWKV无上限不等于会记 理解等级:中级 延伸参考卡
  22. SSM探索长序列计算 理解等级:初级 延伸参考卡
  23. Mamba用选择状态扩展 理解等级:中级 延伸参考卡
  24. Jamba混合两种层结构 理解等级:中级 延伸参考卡
  25. 参数量不能跨代定优劣 理解等级:高级 普通读书笔记卡
  26. 权重内存只是下限 理解等级:中级 普通读书笔记卡
  27. 稀疏与激活参数要分清 理解等级:中级 普通读书笔记卡
  28. 混合专家按token选择 理解等级:中级 普通读书笔记卡
  29. 样本数受文本长度影响 理解等级:中级 普通读书笔记卡
  30. 训练token包含重复遍历 理解等级:初级 普通读书笔记卡
  31. FLOPs与FLOP每秒不同 理解等级:中级 普通读书笔记卡
  32. 峰值不能直接算工期 理解等级:中级 普通读书笔记卡
  33. 算力最优先给定预算 理解等级:中级 普通读书笔记卡
  34. 算力最优的数据平衡 理解等级:中级 延伸参考卡
  35. 训练最优未必部署最优 理解等级:高级 普通读书笔记卡
  36. 进步降成本不代表升级便宜 理解等级:高级 普通读书笔记卡
  37. 超参数与学得参数不同 理解等级:初级 普通读书笔记卡
  38. 规模外推迁移训练配置 理解等级:中级 普通读书笔记卡
  39. 逆向规模需核验任务范围 理解等级:高级 普通读书笔记卡
  40. 删网页不等于模型遗忘 理解等级:中级 普通读书笔记卡
  41. 合成数据循环要检验 理解等级:高级 普通读书笔记卡
  42. 数据可得性包含许可 理解等级:中级 普通读书笔记卡
  43. 电力约束限制算力扩展 理解等级:中级 普通读书笔记卡
  44. 后训练关注整体响应 理解等级:中级 普通读书笔记卡
  45. 监督微调克隆示范行为 理解等级:中级 普通读书笔记卡
  46. 示范质量依赖标注能力 理解等级:中级 普通读书笔记卡
  47. 偏好对齐没有单一人群 理解等级:高级 普通读书笔记卡
  48. RLHF分评分与生成优化 理解等级:中级 结构图卡
  49. 成对比较减轻打分分歧 理解等级:中级 普通读书笔记卡
  50. 排序可拆成偏好对 理解等级:中级 普通读书笔记卡
  51. 奖励分差学习相对偏好 理解等级:中级 普通读书笔记卡
  52. 评判与生成难度不同 理解等级:高级 普通读书笔记卡
  53. BestofN可只在输出端选 理解等级:中级 普通读书笔记卡
  54. 概率来自归一化分数 理解等级:中级 普通读书笔记卡
  55. 温度重塑采样分布 理解等级:中级 普通读书笔记卡
  56. 对数概率便于计算 理解等级:中级 普通读书笔记卡
  57. topk固定候选数量 理解等级:中级 普通读书笔记卡
  58. topp按累计概率截断 理解等级:中级 普通读书笔记卡
  59. 停止条件影响完整格式 理解等级:中级 普通读书笔记卡
  60. 推理时计算换取候选 理解等级:中级 普通读书笔记卡
  61. 集束搜索逐步留候选 理解等级:中级 普通读书笔记卡
  62. 序列概率是条件连乘 理解等级:中级 普通读书笔记卡
  63. 长度归一改变选择偏好 理解等级:中级 普通读书笔记卡
  64. 更多候选可能骗过验证器 理解等级:高级 普通读书笔记卡
  65. 自洽性聚合最终答案 理解等级:中级 普通读书笔记卡
  66. 语义解析输出机器表示 理解等级:初级 普通读书笔记卡
  67. 结构可解析不代表内容对 理解等级:中级 普通读书笔记卡
  68. 后处理只修可辨小错 理解等级:中级 普通读书笔记卡
  69. 约束采样过滤无效token 理解等级:中级 结构图卡
  70. 分类头限定输出集合 理解等级:中级 普通读书笔记卡
  71. 不一致有两种来源表现 理解等级:中级 普通读书笔记卡
  72. 固定种子不等于完全确定 理解等级:高级 普通读书笔记卡
  73. 滚雪球幻觉自我扩展 理解等级:中级 普通读书笔记卡
  74. 示范知识可能超过模型 理解等级:高级 普通读书笔记卡
  75. 偏好改善不保证事实改善 理解等级:高级 普通读书笔记卡

03 评估方法论

39 张卡片
  1. 评估从系统失效环节开始 理解等级:中级 普通读书笔记卡
  2. 复杂输出需要领域核查 理解等级:中级 普通读书笔记卡
  3. 基准饱和要求更新测量 理解等级:中级 普通读书笔记卡
  4. 黑盒模型更依赖输出试验 理解等级:中级 普通读书笔记卡
  5. 熵描述数据本身的可预测性 理解等级:中级 普通读书笔记卡
  6. 交叉熵分解为数据熵与分布差异 理解等级:高级 普通读书笔记卡
  7. 比较压缩指标先统一分词和单位 理解等级:中级 普通读书笔记卡
  8. 困惑度是交叉熵的指数 理解等级:高级 普通读书笔记卡
  9. 困惑度比较必须控制计算协议 理解等级:中级 普通读书笔记卡
  10. 后训练任务质量与困惑度可能背离 理解等级:中级 普通读书笔记卡
  11. 低困惑度只能提示训练污染 理解等级:中级 普通读书笔记卡
  12. 困惑度需逐词元概率 理解等级:中级 普通读书笔记卡
  13. 功能正确性优先测任务结果 理解等级:中级 普通读书笔记卡
  14. 采样次数影响通过率 理解等级:高级 普通读书笔记卡
  15. 参考评估受标准答案覆盖限制 理解等级:中级 普通读书笔记卡
  16. 答案子串匹配可能奖励错误陈述 理解等级:中级 普通读书笔记卡
  17. 词汇重叠不代表功能正确 理解等级:中级 普通读书笔记卡
  18. 编辑距离依赖允许的操作 理解等级:中级 普通读书笔记卡
  19. 语义相似度同时依赖表示与度量 理解等级:中级 普通读书笔记卡
  20. 余弦相似度测量向量方向 理解等级:高级 普通读书笔记卡
  21. 嵌入质量要用目标任务验证 理解等级:中级 普通读书笔记卡
  22. 跨模态检索依靠共同表示空间 理解等级:高级 结构图卡
  23. AI裁判适合灵活标准但需要校准 理解等级:中级 普通读书笔记卡
  24. 裁判提示词必须定义评分锚点 理解等级:中级 普通读书笔记卡
  25. 裁判版本是评估协议的一部分 理解等级:中级 普通读书笔记卡
  26. 评分一致不等于评分准确 理解等级:中级 普通读书笔记卡
  27. 同名评估指标也可能不可比较 理解等级:中级 普通读书笔记卡
  28. 在线裁判在风险成本与延迟间取舍 理解等级:中级 普通读书笔记卡
  29. 裁判偏差要通过受控交换检测 理解等级:中级 普通读书笔记卡
  30. 自我批评适合检查但不是独立证据 理解等级:中级 普通读书笔记卡
  31. 选择裁判看专项能力而非只看规模 理解等级:中级 普通读书笔记卡
  32. 专用裁判的输入决定评估任务 理解等级:中级 普通读书笔记卡
  33. 偏好信号不能替代事实正确性 理解等级:中级 普通读书笔记卡
  34. 同时比较候选与AB测试不同 理解等级:中级 普通读书笔记卡
  35. 模型排名是对未来对局的预测 理解等级:中级 普通读书笔记卡
  36. 比较评估受模型对数量增长限制 理解等级:中级 普通读书笔记卡
  37. 偏好传递性是需要验证的假设 理解等级:中级 普通读书笔记卡
  38. 排名受评估分布限制 理解等级:高级 普通读书笔记卡
  39. 相对胜率不能给出绝对业务收益 理解等级:中级 普通读书笔记卡

04 评估AI系统

41 张卡片
  1. 评估驱动开发先定义价值证据 理解等级:中级 普通读书笔记卡
  2. 应用评估需要四类标准 理解等级:中级 普通读书笔记卡
  3. 功能正确还要能高效维护 理解等级:中级 普通读书笔记卡
  4. 选择题能力不等于生成能力 理解等级:中级 普通读书笔记卡
  5. 局部忠实与全局正确需要分开 理解等级:中级 普通读书笔记卡
  6. 事实核查先解决证据可信度 理解等级:中级 普通读书笔记卡
  7. 幻觉测试要覆盖薄弱查询 理解等级:中级 普通读书笔记卡
  8. 多次回答一致不能独立证明真实 理解等级:中级 普通读书笔记卡
  9. 长回答核查先拆成独立陈述 理解等级:中级 结构图卡
  10. 文本蕴含保留证据不足这一类 理解等级:中级 普通读书笔记卡
  11. 内容风险检测应按类别和语言验证 理解等级:中级 普通读书笔记卡
  12. 指令失败需要区分能力与提示问题 理解等级:中级 普通读书笔记卡
  13. 把复合指令拆成可验证标准 理解等级:中级 普通读书笔记卡
  14. 角色评估含知识边界 理解等级:中级 普通读书笔记卡
  15. 多目标选型先排除硬性不达标 理解等级:中级 普通读书笔记卡
  16. 延迟指标必须对应用户体验环节 理解等级:中级 普通读书笔记卡
  17. 自托管成本取决于容量利用率 理解等级:中级 普通读书笔记卡
  18. 部署决定属性可改性 理解等级:高级 普通读书笔记卡
  19. 模型筛选从硬条件走向应用内证据 理解等级:中级 结构图卡
  20. 权重开放与数据开放是不同维度 理解等级:中级 普通读书笔记卡
  21. 模型可下载不等于用途无限制 理解等级:中级 普通读书笔记卡
  22. 同一模型换服务提供商也要验证 理解等级:中级 普通读书笔记卡
  23. 部署方案要按数据流与控制权评估 理解等级:中级 普通读书笔记卡
  24. 开放不消除溯源风险 理解等级:高级 普通读书笔记卡
  25. 模型API功能边界影响后续适配 理解等级:中级 普通读书笔记卡
  26. 外部模型依赖需要版本和替换策略 理解等级:中级 普通读书笔记卡
  27. 排行榜覆盖取决于所选任务 理解等级:中级 普通读书笔记卡
  28. 聚合基准成绩会隐含能力权重 理解等级:中级 普通读书笔记卡
  29. 基准污染可能来自共同数据源 理解等级:中级 普通读书笔记卡
  30. 去污染受数据可见性限制 理解等级:高级 普通读书笔记卡
  31. 组件与端到端评估互补 理解等级:高级 普通读书笔记卡
  32. 任务完成度比单轮好看更接近价值 理解等级:中级 普通读书笔记卡
  33. 评估指南也要定义越界处理 理解等级:中级 普通读书笔记卡
  34. 业务阈值需要用实际收益校准 理解等级:中级 普通读书笔记卡
  35. 分层评估可平衡成本与信号质量 理解等级:中级 普通读书笔记卡
  36. 评估切片揭示总体分数掩盖的问题 理解等级:中级 普通读书笔记卡
  37. 辛普森悖论来自分组权重差异 理解等级:中级 普通读书笔记卡
  38. 自助抽样检查评估集的不确定性 理解等级:中级 普通读书笔记卡
  39. 检测细小改进需要更多评估样本 理解等级:中级 普通读书笔记卡
  40. 评估流水线也需要被评估 理解等级:中级 普通读书笔记卡
  41. 评估迭代必须保留实验可比性 理解等级:中级 普通读书笔记卡

05 提示工程

30 张卡片
  1. 提示工程实验需要系统化评估 理解等级:中级 普通读书笔记卡
  2. 提示词由任务示例与具体输入组成 理解等级:中级 普通读书笔记卡
  3. 提示鲁棒性通过等价扰动测量 理解等级:中级 普通读书笔记卡
  4. 上下文学习不更新模型权重 理解等级:中级 普通读书笔记卡
  5. 少样本数量要按收益和成本选择 理解等级:中级 普通读书笔记卡
  6. 聊天模板与应用提示模板职责不同 理解等级:中级 普通读书笔记卡
  7. 系统角色优先级来自训练和协议 理解等级:中级 普通读书笔记卡
  8. 容量不等于有效利用 理解等级:高级 普通读书笔记卡
  9. 上下文测试要排除模型已有记忆 理解等级:中级 普通读书笔记卡
  10. 清晰指令把默认假设变成明确约束 理解等级:中级 普通读书笔记卡
  11. 输入结束标记帮助确定生成边界 理解等级:中级 普通读书笔记卡
  12. 限制知识来源不能只依靠一句提示 理解等级:中级 普通读书笔记卡
  13. 任务拆分需要衡量误差成本与延迟 理解等级:中级 普通读书笔记卡
  14. 拆分提示使中间步骤可观察 理解等级:中级 普通读书笔记卡
  15. 更多推理步骤需要验证收益与预算 理解等级:中级 普通读书笔记卡
  16. 局部提示改进可能损害端到端效果 理解等级:中级 普通读书笔记卡
  17. 自动提示优化本质上是指标搜索 理解等级:中级 普通读书笔记卡
  18. 提示工具的隐藏调用也要计入成本 理解等级:中级 普通读书笔记卡
  19. 提示目录保存版本依赖 理解等级:中级 普通读书笔记卡
  20. 系统提示词不应承担秘密存储职责 理解等级:中级 普通读书笔记卡
  21. 提示攻击风险随工具权限放大 理解等级:中级 普通读书笔记卡
  22. 越狱与注入要按越过的边界理解 理解等级:中级 普通读书笔记卡
  23. 外部检索资料可能携带指令注入 理解等级:中级 普通读书笔记卡
  24. 数据提取风险不只来自明确索取 理解等级:中级 普通读书笔记卡
  25. 逐字复述检测存在覆盖边界 理解等级:中级 普通读书笔记卡
  26. 安全评估同时测违规与误拒 理解等级:中级 普通读书笔记卡
  27. 防御指令注入需要多个层次 理解等级:中级 结构图卡
  28. 生成代码的执行需要隔离边界 理解等级:中级 普通读书笔记卡
  29. 高影响工具操作需要独立授权 理解等级:中级 普通读书笔记卡
  30. 输入输出与使用模式共同检测异常 理解等级:中级 普通读书笔记卡

06 RAG与智能体

42 张卡片
  1. RAG为每个查询构建相关上下文 理解等级:中级 普通读书笔记卡
  2. 长上下文不会自动消除检索价值 理解等级:中级 普通读书笔记卡
  3. RAG包含离线索引与在线查询 理解等级:中级 结构图卡
  4. 词频与稀有度加权 理解等级:中级 普通读书笔记卡
  5. 倒排索引从词项找到文档 理解等级:中级 普通读书笔记卡
  6. 词项检索需要处理分词与长度偏差 理解等级:中级 普通读书笔记卡
  7. 语义检索需要兼容的向量表示 理解等级:中级 普通读书笔记卡
  8. 近似近邻用精度交换搜索效率 理解等级:中级 普通读书笔记卡
  9. 向量索引结构决定不同的搜索取舍 理解等级:中级 普通读书笔记卡
  10. 关键词和语义检索具有互补盲区 理解等级:中级 普通读书笔记卡
  11. 上下文精度与召回有别 理解等级:中级 普通读书笔记卡
  12. 近邻相关不保证答对 理解等级:高级 普通读书笔记卡
  13. 向量检索成本包含更新与索引维护 理解等级:中级 普通读书笔记卡
  14. 混合检索可串行筛选也可并行融合 理解等级:中级 普通读书笔记卡
  15. 倒数排名融合异尺度结果 理解等级:中级 普通读书笔记卡
  16. 切块保留语义与预算 理解等级:中级 普通读书笔记卡
  17. 块大小权衡语境与粒度 理解等级:高级 普通读书笔记卡
  18. 重排序只能优化已有候选 理解等级:中级 普通读书笔记卡
  19. 查询改写需要补齐指代但不能编造 理解等级:中级 普通读书笔记卡
  20. 为块补充定位语境改善可检索性 理解等级:中级 普通读书笔记卡
  21. 多模态检索的两条路径 理解等级:中级 普通读书笔记卡
  22. 表格问答区分执行与生成 理解等级:中级 普通读书笔记卡
  23. 智能体由环境动作与反馈定义 理解等级:中级 普通读书笔记卡
  24. 长操作链累积步骤误差 理解等级:高级 普通读书笔记卡
  25. 工具库更大不代表更易完成任务 理解等级:中级 普通读书笔记卡
  26. 用确定性工具弥补模型专项弱点 理解等级:中级 普通读书笔记卡
  27. 规划应考虑动作代价与候选规模 理解等级:中级 普通读书笔记卡
  28. 计划生成验证与执行应解耦 理解等级:中级 结构图卡
  29. 计划能力需要状态预测与搜索支持 理解等级:中级 普通读书笔记卡
  30. 工具调用格式有效不保证参数正确 理解等级:中级 普通读书笔记卡
  31. 分层规划平衡抽象与执行 理解等级:中级 普通读书笔记卡
  32. 智能体控制流必须遵守真实依赖 理解等级:中级 普通读书笔记卡
  33. 行动反馈依赖外部结果 理解等级:中级 普通读书笔记卡
  34. 工具消融检验实际价值 理解等级:高级 普通读书笔记卡
  35. 可复用技能应以成功执行证据入库 理解等级:中级 普通读书笔记卡
  36. 智能体故障要区分规划工具与效率 理解等级:中级 普通读书笔记卡
  37. 完成判断本身也可能失败 理解等级:中级 普通读书笔记卡
  38. 工具测试需独立于规划测试 理解等级:中级 普通读书笔记卡
  39. 记忆的三种存储层次 理解等级:中级 普通读书笔记卡
  40. 记忆配置要共享上下文总预算 理解等级:中级 普通读书笔记卡
  41. 先进先出可能丢失约束 理解等级:高级 普通读书笔记卡
  42. 记忆摘要需要补回遗漏并处理冲突 理解等级:中级 普通读书笔记卡

07 微调

41 张卡片
  1. 微调通过已有能力提高样本效率 理解等级:中级 普通读书笔记卡
  2. 预训练与指令训练信号有别 理解等级:中级 普通读书笔记卡
  3. 微调范围可以是全部或部分参数 理解等级:中级 普通读书笔记卡
  4. 微调不保证新增知识可靠 理解等级:高级 普通读书笔记卡
  5. 专项微调要检查其他任务退化 理解等级:中级 普通读书笔记卡
  6. 微调成本包括持续维护 理解等级:高级 普通读书笔记卡
  7. 通用模型也可能胜过领域专用模型 理解等级:中级 普通读书笔记卡
  8. 微调与检索选择先看失效原因 理解等级:中级 普通读书笔记卡
  9. 模型适配从简单可评估方案递进 理解等级:中级 普通读书笔记卡
  10. 重复示例比较训练与缓存 理解等级:高级 普通读书笔记卡
  11. 权重内存按参数字节估算 理解等级:中级 普通读书笔记卡
  12. 推理与训练的低精度容忍度不同 理解等级:中级 普通读书笔记卡
  13. 反向传播求梯度优化器决定更新 理解等级:中级 普通读书笔记卡
  14. 训练显存需要逐类预算 理解等级:中级 普通读书笔记卡
  15. 激活与缓存无固定比例 理解等级:高级 普通读书笔记卡
  16. 激活重计算以额外计算换内存 理解等级:中级 普通读书笔记卡
  17. 浮点数范围与精度是不同资源 理解等级:中级 普通读书笔记卡
  18. 低精度部署要验证质量和实际速度 理解等级:中级 普通读书笔记卡
  19. 训练前后量化的区别 理解等级:中级 普通读书笔记卡
  20. 混合精度保留敏感计算的稳定性 理解等级:中级 普通读书笔记卡
  21. 高效微调仍需基座权重 理解等级:高级 普通读书笔记卡
  22. 软提示是可训练连续向量 理解等级:中级 普通读书笔记卡
  23. 低秩适配学习权重增量 理解等级:中级 结构图卡
  24. LoRA容量取决于秩和目标矩阵 理解等级:中级 普通读书笔记卡
  25. LoRA缩放与秩需要联合验证 理解等级:中级 普通读书笔记卡
  26. 合并与分离适配服务有别 理解等级:中级 普通读书笔记卡
  27. 多适配器存储预算要重新算数量级 理解等级:中级 普通读书笔记卡
  28. 量化基座上的低秩适配 理解等级:中级 普通读书笔记卡
  29. 权重合并与输出集成有别 理解等级:高级 普通读书笔记卡
  30. 多任务训练要处理共享学习与遗忘 理解等级:中级 普通读书笔记卡
  31. 参数平均要求表示可比 理解等级:高级 普通读书笔记卡
  32. 任务向量是微调权重相对基座的差 理解等级:中级 普通读书笔记卡
  33. 球面插值与直线平均采用不同路径 理解等级:中级 普通读书笔记卡
  34. 增量剪枝不等于模型稀疏 理解等级:高级 普通读书笔记卡
  35. 层堆叠后仍需适配 理解等级:中级 普通读书笔记卡
  36. 适配器拼接扩大容量 理解等级:高级 普通读书笔记卡
  37. 微调先验证训练链路 理解等级:中级 普通读书笔记卡
  38. 学习率诊断要结合损失与验证表现 理解等级:中级 普通读书笔记卡
  39. 梯度累积用多个微批组成一次更新 理解等级:中级 普通读书笔记卡
  40. 轮数由验证退化约束 理解等级:高级 普通读书笔记卡
  41. 响应损失权重应匹配实际生成任务 理解等级:中级 普通读书笔记卡

08 数据集工程

33 张卡片
  1. 数据策展围绕希望模型学到的行为 理解等级:中级 普通读书笔记卡
  2. 数据质量包含任务适用与一致性 理解等级:中级 普通读书笔记卡
  3. 工具轨迹依赖真实执行 理解等级:中级 普通读书笔记卡
  4. 多轮数据教会澄清修正与任务推进 理解等级:中级 普通读书笔记卡
  5. 覆盖度要沿真实使用维度设计 理解等级:中级 普通读书笔记卡
  6. 质量与多样性需要同时控制 理解等级:中级 普通读书笔记卡
  7. 不同训练阶段需要不同数据配比 理解等级:中级 普通读书笔记卡
  8. 样本量取决于任务与方法 理解等级:高级 普通读书笔记卡
  9. 小规模微调用于诊断 理解等级:高级 普通读书笔记卡
  10. 学习曲线估算标注收益 理解等级:高级 普通读书笔记卡
  11. 数据飞轮需检查选择偏差 理解等级:高级 普通读书笔记卡
  12. 公开数据也需要来源与质量核验 理解等级:中级 普通读书笔记卡
  13. 标注指南与评估指南可以共用标准 理解等级:中级 普通读书笔记卡
  14. 增强变换必须保留目标标签语义 理解等级:中级 普通读书笔记卡
  15. 合成数据应针对覆盖缺口生成 理解等级:中级 普通读书笔记卡
  16. 模拟降低试验成本但存在现实差距 理解等级:中级 普通读书笔记卡
  17. 模拟反馈不是真实执行 理解等级:高级 普通读书笔记卡
  18. 回译一致不证明正确 理解等级:高级 普通读书笔记卡
  19. 偏好数据用顺序交换过滤位置偏差 理解等级:中级 普通读书笔记卡
  20. 反向指令以现有内容构造任务 理解等级:中级 普通读书笔记卡
  21. 合成代码需要生成验证修正闭环 理解等级:中级 结构图卡
  22. 合成价值看训练后效果 理解等级:高级 普通读书笔记卡
  23. 模仿教师风格不等于获得教师能力 理解等级:中级 普通读书笔记卡
  24. 递归合成训练需要监控尾部覆盖 理解等级:中级 普通读书笔记卡
  25. 生成数据也有污染风险 理解等级:高级 普通读书笔记卡
  26. 蒸馏需验证替代效果 理解等级:高级 普通读书笔记卡
  27. 数据处理保留原始版本 理解等级:中级 普通读书笔记卡
  28. 数据检查同时看分布与实际样本 理解等级:中级 普通读书笔记卡
  29. 去重前先定义比较单位和相似标准 理解等级:中级 普通读书笔记卡
  30. 训练测试隔离要包含重复家族 理解等级:中级 普通读书笔记卡
  31. 过滤规则应保留任务所需的信息 理解等级:中级 普通读书笔记卡
  32. 主动选择样本依赖重要性信号 理解等级:中级 普通读书笔记卡
  33. 微调数据格式与推理输入要一致 理解等级:中级 普通读书笔记卡

09 推理优化

31 张卡片
  1. 推理先定位资源瓶颈 理解等级:高级 普通读书笔记卡
  2. 算术强度连接工作负载与硬件瓶颈 理解等级:中级 普通读书笔记卡
  3. 预填充与解码适合不同优化方向 理解等级:中级 普通读书笔记卡
  4. 在线与批量服务区别在延迟目标 理解等级:中级 普通读书笔记卡
  5. 流式输出改变检查时机 理解等级:中级 普通读书笔记卡
  6. 首字与逐字延迟有别 理解等级:中级 普通读书笔记卡
  7. 用户首见延迟还包括隐藏工具步骤 理解等级:中级 普通读书笔记卡
  8. 延迟要看分位数和长度切片 理解等级:中级 普通读书笔记卡
  9. 吞吐比较先统一计量 理解等级:高级 普通读书笔记卡
  10. 有效吞吐同时约束速度与服务目标 理解等级:中级 普通读书笔记卡
  11. 活跃不等于计算高效 理解等级:高级 普通读书笔记卡
  12. 带宽估算需要声明权重重用假设 理解等级:中级 普通读书笔记卡
  13. 硬件评估匹配真实负载 理解等级:高级 普通读书笔记卡
  14. 内存层级优化围绕数据重用 理解等级:中级 普通读书笔记卡
  15. 非结构化剪枝不保证实际加速 理解等级:中级 普通读书笔记卡
  16. 推测解码减少串行等待 理解等级:中级 结构图卡
  17. 参考解码利用输入输出的重复片段 理解等级:中级 普通读书笔记卡
  18. 并行预测仍需一致性验证 理解等级:高级 普通读书笔记卡
  19. 键值缓存随会话增长 理解等级:中级 普通读书笔记卡
  20. 缓存内存按真实头维度计算 理解等级:中级 普通读书笔记卡
  21. 共享键值与局部窗口的取舍 理解等级:高级 普通读书笔记卡
  22. 分页管理减少内存碎片 理解等级:中级 普通读书笔记卡
  23. 内核融合减少数据搬运 理解等级:中级 普通读书笔记卡
  24. 编译器把模型操作映射到目标实现 理解等级:中级 普通读书笔记卡
  25. 动态批处理权衡排队 理解等级:高级 普通读书笔记卡
  26. 连续批处理替换完成请求 理解等级:中级 普通读书笔记卡
  27. 预填充解码解耦需要核算状态传输 理解等级:中级 普通读书笔记卡
  28. 前缀复用要求上下文相容 理解等级:高级 普通读书笔记卡
  29. 副本并行扩并发模型并行分单模型 理解等级:中级 普通读书笔记卡
  30. 张量并行要用计算收益抵消通信 理解等级:中级 普通读书笔记卡
  31. 流水线重叠不同模型阶段 理解等级:中级 普通读书笔记卡

10 AI工程架构与用户反馈

29 张卡片
  1. 架构按问题逐步扩展 理解等级:中级 普通读书笔记卡
  2. 出站检查包含检索资料 理解等级:中级 普通读书笔记卡
  3. 输出防护必须同时定义检测和处置 理解等级:中级 普通读书笔记卡
  4. 重生成不等于安全重执行 理解等级:高级 普通读书笔记卡
  5. 路由按能力与约束选路径 理解等级:中级 普通读书笔记卡
  6. 模型网关统一接入也集中故障治理 理解等级:中级 普通读书笔记卡
  7. 缓存键包含权限与答案条件 理解等级:高级 普通读书笔记卡
  8. 语义缓存必须验证答案可替代性 理解等级:中级 普通读书笔记卡
  9. 流程循环需要状态追踪 理解等级:中级 普通读书笔记卡
  10. 监控指标从故障假设反推 理解等级:中级 普通读书笔记卡
  11. 可观测性让运行证据支持定位原因 理解等级:中级 普通读书笔记卡
  12. 恢复指标先统一时间定义 理解等级:中级 普通读书笔记卡
  13. 技术指标需要与任务价值共同解释 理解等级:中级 普通读书笔记卡
  14. 请求追踪连接跨组件的运行证据 理解等级:中级 普通读书笔记卡
  15. 漂移区分输入与系统变更 理解等级:高级 普通读书笔记卡
  16. 编排要清楚表达控制流 理解等级:中级 普通读书笔记卡
  17. 用户反馈首先需要明确用途 理解等级:中级 普通读书笔记卡
  18. 显式反馈存在响应偏差 理解等级:高级 普通读书笔记卡
  19. 隐式反馈必须放回任务语境 理解等级:中级 普通读书笔记卡
  20. 用户修正揭示改进线索 理解等级:中级 普通读书笔记卡
  21. 重新生成不必然表示用户不满意 理解等级:中级 普通读书笔记卡
  22. 反馈入口应让失败后仍可完成任务 理解等级:中级 普通读书笔记卡
  23. 只问用户能够判断的问题 理解等级:高级 普通读书笔记卡
  24. 工作步骤承载采用反馈 理解等级:中级 普通读书笔记卡
  25. 反馈上下文应单独说明收集范围 理解等级:中级 普通读书笔记卡
  26. 反馈界面会制造测量误差 理解等级:高级 普通读书笔记卡
  27. 反馈是否公开会改变用户表达 理解等级:中级 普通读书笔记卡
  28. 评分中的宽容与位置偏差需要校准 理解等级:高级 普通读书笔记卡
  29. 反馈训练可能放大曝光偏差和迎合 理解等级:高级 普通读书笔记卡

全书概览

AI工程:大模型应用开发实战

Skill 版本:v24

执行模式:light

建档进度:全文生成完成,已导入并归档;本轮核验见 _workflow.md

四象限评级:经典原理(高信息浓度、高稳定性)

评级理由:全文以评估协议、数据质量、适配机制、推理瓶颈和系统反馈为核心,解释较密集且可跨工具复用。价格、产品接口、具体基准与许可具有时效性,已限制其结论范围。

整书笔记已完成全文讲解、全书主线、跨章联系和实践入口。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前置材料 done 6
01 基于基础模型构建AI应用入门 done 48
02 理解基础模型 done 75
03 评估方法论 done 39
04 评估AI系统 done 41
05 提示工程 done 30
06 RAG与智能体 done 42
07 微调 done 41
08 数据集工程 done 33
09 推理优化 done 31
10 AI工程架构与用户反馈 done 29

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 无实质解释
Section003–005 机构介绍与赞誉 出版背景和推荐语,不作为知识论证
Section020–021 作者与封面动物简介 已读;作者经历与封面动物介绍,不作为AI工程机制论证
daima.xhtml 字体授权 资源许可证

待关联术语

术语名 出现章节 一句话语境
反向传播、梯度下降、交叉熵 前言 仅列为背景知识,后续正文展开时再处理

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
aie-book 源码项目 前言 配套材料,尚未作为实践目标核验
ImageNet Classification with Deep Convolutional Neural Networks 论文 前言 引用扩大数据和计算的观点,未实质介绍模型
MEWR 论文 前言 写作动机,未展开评估算法

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出

实践候选筛选:done。采用3项现有资料任务/决策计划;提示、检索、数据、优化与训练的重复实现候选合并或不采用,原因是当前缺少必须运行才能回答的具体问题;不为章节凑实践。

第一章取材登记(2026-11-06)

待关联术语补充
术语名 出现章节 一句话语境
逻辑回归、协同过滤 01 仅列ML背景技能,没有展开算法机制
前馈神经网络、循环神经网络、卷积神经网络、Transformer 01 背景结构名单,后续实际展开时再生成
梯度下降、损失函数、正则化 01 仅说明模型学习所需背景,未展开数学机制
蒸馏、并行化 01 仅预告后续推理优化技术
MMLU 01 用作说明历史评估协议差异,未展开基准构成
引用文献补充
标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文 01 掩码语言模型例子,机制并入对应比较卡
On the Opportunities and Risks of Foundation Models 论文 01 基础模型命名背景,未展开全文
CLIP: Connecting text and images 论文 01 实质介绍已生成CLIP延伸卡
Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks 论文 01 任务图谱并入通用模型卡,不臆造训练细节
GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models 论文 01 任务受影响定义已生成延伸卡,不解释为岗位替代
Generative Agents: Interactive Simulacra of Human Behavior 论文 01 简述多机器人模拟社会用途,没有展开机制
CoEdIT: Text Editing by Task-Specific Instruction Tuning 论文 01 写作工具例子,仅提名
Experimental evidence on the productivity effects of generative artificial intelligence 论文 01 写作任务历史实验,结果不外推所有领域
Gemini: A Family of Highly Capable Multimodal Models 论文 01 评估协议差异,已回查官方原始报告限定CoT@32解释
Enhancing Chat Language Models by Scaling High-quality Instructional Conversations 论文 01 最后一公里进度的论述来源,未展开UltraChat实现
Streamlit、Gradio、Plotly Dash 框架 01 UI工具举例,无实现介绍
TensorFlow、PyTorch、Hugging Face Transformers 框架 01 建模与训练工具举例,无实现介绍
AutoGPT、Stable Diffusion web UI、LangChain、Ollama 源码项目 01 历史开源增长图示例,不当作当前排序或选型推荐

其他历史市场与产品文章均作为原文案例出处,不展开为独立知识;工具列表中的纯提名不推断内部实现。

第二章取材登记(2026-11-06)

术语名 出现章节 一句话语境
min-p 02 只给阈值概述,没有足够信息确定具体相对阈值规则,不照搬简化定义
DPO、RLAIF、PPO 02 提名偏好对齐算法,尚未展开独立算法机制
GELU、RMSNorm 02 激活与归一化结构示例,未展开其计算机制
第二章引用文献
标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Attention Is All You Need 论文 02 Transformer与注意力机制来源,已保留实际解释
Sequence to Sequence Learning with Neural Networks 论文 02 seq2seq机制来源,已成卡
Neural Machine Translation by Jointly Learning to Align and Translate 论文 02 注意力早于Transformer的历史背景
Llama 2: Open Foundation and Fine-Tuned Chat Models 论文 02 维度、训练及偏好例子,不外推当前规格
The Llama 3 Herd of Models 论文 02 跨代参数比较背景
RWKV: Reinventing RNNs for the Transformer Era 论文 02 实质介绍已生成延伸卡
Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers 论文 02 SSM长序列路径,已保留
Efficiently Modeling Long Sequences with Structured State Spaces 论文 02 S4效率方向,简述并入SSM卡
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 论文 02 H3回忆与token比较机制,简述并入SSM卡
Mamba: Linear-Time Sequence Modeling with Selective State Spaces 论文 02 实质介绍已生成延伸卡
Jamba: A Hybrid Transformer-Mamba Language Model 论文 02 实质介绍已生成延伸卡
Training Compute-Optimal Large Language Models 论文 02 Chinchilla假设与训练预算,已成卡
Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws 论文 02 将推理需求纳入选型的依据
µTransfer: A technique for hyperparameter tuning of enormous neural networks 论文 02 超参数迁移例子,机制并入规模外推卡
Emergent Abilities of Large Language Models 论文 02 外推限制的概述,未补造能力出现定律
Training language models to follow instructions with human feedback 论文 02 SFT、奖励模型和RLHF图示依据
Direct Preference Optimization: Your Language Model is Secretly a Reward Model 论文 02 仅提名DPO,本节未展开损失推导
Self-Consistency Improves Chain of Thought Reasoning in Language Models 论文 02 多次求解聚合最终答案,已成卡
Shaking the foundations: delusions in sequence models for interaction and control 论文 02 幻觉自我扩展假设,保留假设地位
Behavior Cloning is Miscalibrated 论文 02 示范与知识不匹配假设,未声称唯一成因
guidance、outlines、instructor、llama.cpp 框架 02 结构化输出工具名单,机制并入约束采样卡;不补造当前API
第3章主线

评估先定位系统失效风险,再选能回答问题的测量。困惑度度量语言预测;功能正确性度量任务结果;相似度度量与参考的一致;AI裁判和成对偏好提供灵活判断,但需要协议、校准与边界。排名不能替代绝对业务指标。

术语线索:BLEU、ROUGE、METEOR++、TER、CIDEr、BERTScore、MoverScore、MTEB、Elo、Bradley-Terry、TrueSkill;原书未在本章展开各算法细节,不据名称补造卡片。

第4章主线

先定义价值与验收条件,再筛掉硬条件不合适的模型。公开基准缩小候选,应用内评估决定是否实用;测量组件与任务,维护评分指南、数据切片和版本,并检查评估本身的可信度与成本。

术语线索:IFEval、InFoBench、RoleLLM、CharacterEval、SAFE、NLI、TruthfulQA、RealToxicityPrompts、BOLD、evaluation harness;方法已展开者关联本章卡,纯基准名称不补造独立知识。

第5章主线

提示工程用输入适配模型,效果需通过稳定评估和版本追踪验证。上下文容量、模板与任务拆分影响表现;上线后将外部内容作为低信任数据,以权限、隔离及输入输出检测约束实际后果。

术语线索:NIAH、RULER、OpenPrompt、DSPy、Promptbreeder、TextGrad、prompt catalog、PAIR、Advbench、PromptRobust;具体库版本与攻击成功率限于原书语境,不视为当前产品行为。

第6章主线

RAG为查询选择信息,智能体利用工具和反馈采取动作。两者都需分别测组件和端到端结果,并维护有限上下文中的关键状态。检索覆盖、规划可执行性、参数业务含义与真实完成证据缺一不可。

术语线索:TF-IDF、BM25、ANN、HNSW、IVF、乘积量化、RRF、BEIR、ReAct、Reflexion、Toolformer、Chameleon、Voyager;方法按原文展开程度成卡,库名只作后续检索线索。

第7章主线

微调改变权重,适用于经评估确认的行为适配需求。训练预算要分清权重、激活、梯度与优化器;PEFT、量化和重计算分别降低不同开销。LoRA与合并提供模块化适配,但效果依赖任务与配置,最终仍需多任务验证与持续维护。

术语线索:PEFT、LoRA、QLoRA、PTQ、QAT、AMP、NF4、SLERP、TIES、DARE、梯度累积;ReLoRA/GaLore等只登记研究线索,不把本章简述当作实现规范。

第8章主线

数据集工程围绕预期行为同时优化质量、覆盖与数量。合成扩大数据来源,也扩大验证与溯源需求;通过独立任务效果检验价值,并在处理时保留原始版本、重复家族边界和部署格式。

术语线索:data-centric AI、data flywheel、back-translation、reverse instruction、model collapse、distillation、active learning、MinHash、Bloom filter;具体库与许可需在使用时查相应版本。

第9章主线

推理优化应先定位计算、容量或带宽瓶颈,再以用户可见延迟、有效吞吐和成本验证。模型、内核和服务调度的取舍不同;缓存与并行都有前提,峰值硬件指标不能替代目标负载测试。

术语线索:roofline、TTFT、TPOT、goodput、MFU、MBU、FlashAttention、PagedAttention、speculative decoding、prefix cache;上下文/序列并行术语仅登记,不据简述补造实现。

全文生成交付(2026-11-06)

前置材料、1–10章、后记及出版附记已读取,415张卡(含13张结构图卡);每卡唯一主要位置和真实出处已保存。轻量模式未执行生成后的内容复核、独立审查及审查结果优化。

| 1 | 本地问答验收集 | 真实任务 | done | 04 | 计划已交付,现实执行未开始 | | 2 | 反馈标注试表 | 真实任务 | done | 10 | 计划已交付,现实执行未开始 | | 3 | 适配方案决策单 | 决策实践 | done | 07 | 计划已交付,现实执行未开始 |

实践计划文件:

  • 本地问答验收集
  • 反馈标注试表
  • 适配方案决策单

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。