来源书籍

Machine Learning System Design

Skill 版本:v24 335 张卡片

Valerii Babushkin and Arseny Kravchenko · Manning Publications Co. · 2025-01-08 · ISBN 9781633438750

章节与卡片

01 Essentials of machine learning system design

6 张卡片
  1. 机器学习系统设计 理解等级:中级 普通读书笔记卡
  2. 设计与运维工具的区别 理解等级:中级 普通读书笔记卡
  3. 系统改进与维护 理解等级:初级 普通读书笔记卡
  4. 抽象与架构责任 理解等级:中级 普通读书笔记卡
  5. 设计文档澄清目标 理解等级:中级 普通读书笔记卡
  6. 估价系统遗漏整体风险 理解等级:高级 普通读书笔记卡

02 Is there a problem?

11 张卡片
  1. 问题空间与方案空间 理解等级:中级 普通读书笔记卡
  2. 自顶向下澄清问题 理解等级:中级 普通读书笔记卡
  3. 把业务问题转成预测 理解等级:中级 普通读书笔记卡
  4. 人类专家作为基准 理解等级:中级 普通读书笔记卡
  5. 风险模型描述失败场景 理解等级:中级 普通读书笔记卡
  6. 错误成本与二阶后果 理解等级:高级 普通读书笔记卡
  7. 复用标注缩小候选 理解等级:中级 普通读书笔记卡
  8. 错误处理的场景取舍 理解等级:高级 普通读书笔记卡
  9. 分类错误的不同代价 理解等级:中级 普通读书笔记卡
  10. 定价约束改变方案 理解等级:高级 普通读书笔记卡
  11. Code Complete错误处理 理解等级:中级 延伸参考卡

03 Preliminary research

16 张卡片
  1. 寻找相似系统的两面 理解等级:中级 普通读书笔记卡
  2. 自建或购买的权衡 理解等级:高级 普通读书笔记卡
  3. 先召回再精排 理解等级:中级 普通读书笔记卡
  4. 拆分机器学习系统 理解等级:高级 普通读书笔记卡
  5. 创新程度随目标变化 理解等级:高级 普通读书笔记卡
  6. 论文调研从综述出发 理解等级:初级 普通读书笔记卡
  7. 开源与商业支持 理解等级:中级 普通读书笔记卡
  8. 检测与计数分工 理解等级:中级 普通读书笔记卡
  9. 检索增强生成 理解等级:中级 普通读书笔记卡
  10. 端到端模型与流水线 理解等级:高级 普通读书笔记卡
  11. arXiv论文平台 理解等级:中级 延伸参考卡
  12. Papers with Code 理解等级:中级 延伸参考卡
  13. GitHub代码检索 理解等级:中级 延伸参考卡
  14. Hugging Face模型库 理解等级:中级 延伸参考卡
  15. Kaggle竞赛与数据集 理解等级:中级 延伸参考卡
  16. Toolformer使用外部工具 理解等级:初级 延伸参考卡

04 Design document

9 张卡片
  1. 设计文档与项目规模 理解等级:中级 普通读书笔记卡
  2. 反目标划定设计范围 理解等级:中级 普通读书笔记卡
  3. 指标达标不等于目标 理解等级:高级 普通读书笔记卡
  4. 缺货遮蔽真实需求 理解等级:中级 普通读书笔记卡
  5. 设计评审聚焦依据 理解等级:中级 普通读书笔记卡
  6. 设计文档持续演进 理解等级:中级 普通读书笔记卡
  7. 为复杂设计准备备选 理解等级:高级 延伸参考卡
  8. 预测对象与原因的差异 理解等级:高级 普通读书笔记卡
  9. 先分析现有预测流程 理解等级:中级 普通读书笔记卡

05 Loss functions and metrics

29 张卡片
  1. 训练损失与评估指标 理解等级:中级 普通读书笔记卡
  2. 均方误差与绝对误差 理解等级:高级 普通读书笔记卡
  3. 焦点损失减少简单样本权重 理解等级:中级 普通读书笔记卡
  4. 多损失训练多目标 理解等级:中级 普通读书笔记卡
  5. 标签延迟扭曲评估 理解等级:高级 普通读书笔记卡
  6. 精确率受类别比例影响 理解等级:高级 普通读书笔记卡
  7. 固定特异度优化召回 理解等级:高级 普通读书笔记卡
  8. 预测一致性指标 理解等级:中级 普通读书笔记卡
  9. 离线指标与在线结果 理解等级:中级 普通读书笔记卡
  10. 指标层级与代理指标 理解等级:高级 普通读书笔记卡
  11. 随机模型检验指标 理解等级:中级 普通读书笔记卡
  12. 百分比误差遇到零值 理解等级:中级 普通读书笔记卡
  13. 分位数预测与库存 理解等级:中级 普通读书笔记卡
  14. 加权分位数损失 理解等级:中级 普通读书笔记卡
  15. Tweedie分布族 理解等级:中级 普通读书笔记卡
  16. 倒数排名均值 理解等级:中级 普通读书笔记卡
  17. 归一化折损累计增益 理解等级:中级 普通读书笔记卡
  18. 相关性不等于购买 理解等级:高级 普通读书笔记卡
  19. 稀有事件指标设计 理解等级:中级 普通读书笔记卡
  20. 焦点损失论文 理解等级:中级 延伸参考卡
  21. 手机扫描体积化身 理解等级:中级 延伸参考卡
  22. AlphaFold蛋白结构预测 理解等级:中级 延伸参考卡
  23. GrokNet多任务训练 理解等级:中级 延伸参考卡
  24. 零售计数预测分布 理解等级:中级 延伸参考卡
  25. 相对误差的零分母 理解等级:中级 普通读书笔记卡
  26. 间歇需求的时间加权 理解等级:高级 普通读书笔记卡
  27. 缩放均方误差 理解等级:中级 普通读书笔记卡
  28. 绝对误差的两种缩放 理解等级:中级 普通读书笔记卡
  29. 搜索结果多样性 理解等级:中级 普通读书笔记卡

06 Gathering datasets

25 张卡片
  1. 多模态数据集 理解等级:初级 普通读书笔记卡
  2. 数据提取转换加载 理解等级:中级 普通读书笔记卡
  3. 过滤数据的两面 理解等级:高级 普通读书笔记卡
  4. 标注粒度限制能力 理解等级:中级 普通读书笔记卡
  5. 弱监督标签 理解等级:初级 普通读书笔记卡
  6. 众包标注质量控制 理解等级:中级 普通读书笔记卡
  7. 成对比较降低评分差异 理解等级:中级 普通读书笔记卡
  8. 多数投票的独立假设 理解等级:高级 普通读书笔记卡
  9. 按分歧追加标注 理解等级:中级 普通读书笔记卡
  10. 数据元数据与溯源 理解等级:中级 普通读书笔记卡
  11. 数据反馈回路 理解等级:中级 普通读书笔记卡
  12. 分层采样保障群体覆盖 理解等级:中级 普通读书笔记卡
  13. 主动学习选择样本 理解等级:中级 普通读书笔记卡
  14. 训练数据量与质量 理解等级:高级 普通读书笔记卡
  15. 偶然与认知不确定性 理解等级:高级 普通读书笔记卡
  16. 数据规模学习曲线 理解等级:高级 普通读书笔记卡
  17. 数据冷启动 理解等级:中级 普通读书笔记卡
  18. 数据管道可复现 理解等级:中级 普通读书笔记卡
  19. 数据管道一致性 理解等级:中级 普通读书笔记卡
  20. 数据可用性与依赖 理解等级:高级 普通读书笔记卡
  21. 模糊标签的判定规则 理解等级:中级 普通读书笔记卡
  22. 合成数据的分布差异 理解等级:高级 普通读书笔记卡
  23. 特征与表征 理解等级:中级 普通读书笔记卡
  24. 标注者一致性 理解等级:中级 普通读书笔记卡
  25. MobilePose合成样本 理解等级:中级 延伸参考卡

07 Validation schemas

21 张卡片
  1. 验证模拟实际使用 理解等级:中级 普通读书笔记卡
  2. 训练验证测试分工 理解等级:中级 普通读书笔记卡
  3. K折交叉验证 理解等级:中级 普通读书笔记卡
  4. 分层与分组交叉验证 理解等级:中级 普通读书笔记卡
  5. 交叉验证折数权衡 理解等级:高级 普通读书笔记卡
  6. 时间序列滚动验证 理解等级:中级 普通读书笔记卡
  7. 时间验证间隔 理解等级:中级 普通读书笔记卡
  8. 固定窗口减少比较噪声 理解等级:中级 普通读书笔记卡
  9. 嵌套验证分离调参与评估 理解等级:高级 普通读书笔记卡
  10. 对抗验证检查分布差异 理解等级:高级 普通读书笔记卡
  11. 验证集更新策略 理解等级:高级 普通读书笔记卡
  12. 自助法估计指标不确定性 理解等级:高级 普通读书笔记卡
  13. 泊松权重自助法 理解等级:高级 普通读书笔记卡
  14. 扰动评估阈值稳健性 理解等级:中级 普通读书笔记卡
  15. 近重复文本与泄漏 理解等级:高级 普通读书笔记卡
  16. 检索增强语言模型论文 理解等级:中级 延伸参考卡
  17. 哈希稳定划分用户 理解等级:中级 普通读书笔记卡
  18. 置信区间的重复覆盖 理解等级:高级 普通读书笔记卡
  19. 交叉验证与自助法研究 理解等级:中级 延伸参考卡
  20. 时间序列评估研究 理解等级:中级 延伸参考卡
  21. 对抗验证与目标漂移 理解等级:中级 延伸参考卡

08 Baseline solution

22 张卡片
  1. 基线的三个用途 理解等级:中级 普通读书笔记卡
  2. 常数基线 理解等级:中级 普通读书笔记卡
  3. 规则基线 理解等级:中级 普通读书笔记卡
  4. 基线逐步增加复杂度 理解等级:中级 普通读书笔记卡
  5. 特征基线 理解等级:中级 普通读书笔记卡
  6. 预训练模型作为基线 理解等级:中级 普通读书笔记卡
  7. 预训练模型微调范围 理解等级:中级 普通读书笔记卡
  8. 比较基线的多项成本 理解等级:高级 普通读书笔记卡
  9. 时间序列季节性基线 理解等级:中级 普通读书笔记卡
  10. 图文搜索的基线比较 理解等级:高级 普通读书笔记卡
  11. 基线不适合的边界 理解等级:高级 普通读书笔记卡
  12. 简单推荐方法的对照研究 理解等级:中级 延伸参考卡
  13. CLIP图文表征 理解等级:中级 延伸参考卡
  14. Prophet预测工具 理解等级:中级 延伸参考卡
  15. 简单方案的复杂度偏见 理解等级:中级 延伸参考卡
  16. 表格数据与树模型 理解等级:中级 延伸参考卡
  17. 图问题的贪心基线 理解等级:中级 延伸参考卡
  18. 多任务的简单平均 理解等级:中级 延伸参考卡
  19. 向量点积推荐基线 理解等级:中级 延伸参考卡
  20. 零样本与少样本基线 理解等级:中级 普通读书笔记卡
  21. 迁移表征训练小模型 理解等级:中级 普通读书笔记卡
  22. ARIMA与季节性预测 理解等级:初级 普通读书笔记卡

09 Error analysis

23 张卡片
  1. 三类学习曲线 理解等级:中级 普通读书笔记卡
  2. 过拟合与欠拟合 理解等级:中级 普通读书笔记卡
  3. 损失振荡的排查 理解等级:中级 普通读书笔记卡
  4. 损失爆炸与非数值 理解等级:中级 普通读书笔记卡
  5. 损失与指标不一致 理解等级:高级 普通读书笔记卡
  6. 模型复杂度曲线 理解等级:中级 普通读书笔记卡
  7. 数据规模曲线 理解等级:中级 普通读书笔记卡
  8. 双重下降现象 理解等级:高级 普通读书笔记卡
  9. 残差分析 理解等级:中级 普通读书笔记卡
  10. 回归诊断图 理解等级:高级 普通读书笔记卡
  11. 引导注意力对齐 理解等级:中级 普通读书笔记卡
  12. 残差分布与问题线索 理解等级:中级 普通读书笔记卡
  13. 群体误差分布 理解等级:高级 普通读书笔记卡
  14. 残差基尼系数 理解等级:中级 普通读书笔记卡
  15. 过预测与欠预测 理解等级:中级 普通读书笔记卡
  16. 价格响应曲线 理解等级:高级 普通读书笔记卡
  17. 按误差或属性分组 理解等级:中级 普通读书笔记卡
  18. 极端样本与角落案例 理解等级:中级 普通读书笔记卡
  19. 用分类器找错误共性 理解等级:高级 普通读书笔记卡
  20. 分位数残差校准 理解等级:高级 普通读书笔记卡
  21. Deep Double Descent研究 理解等级:中级 延伸参考卡
  22. 引导注意力语音合成研究 理解等级:中级 延伸参考卡
  23. 检查损失值范围 理解等级:中级 普通读书笔记卡

10 Training pipelines

18 张卡片
  1. 训练流水线可复现 理解等级:中级 普通读书笔记卡
  2. 训练与推理流水线 理解等级:中级 普通读书笔记卡
  3. 训练流水线步骤 理解等级:中级 普通读书笔记卡
  4. 评估与测试模型 理解等级:中级 普通读书笔记卡
  5. 训练产物打包 理解等级:中级 普通读书笔记卡
  6. 训练平台的职责 理解等级:中级 普通读书笔记卡
  7. 垂直与水平扩展 理解等级:中级 普通读书笔记卡
  8. 数据子采样降成本 理解等级:中级 普通读书笔记卡
  9. 配置不足与过度配置 理解等级:高级 普通读书笔记卡
  10. 流水线烟雾测试 理解等级:中级 普通读书笔记卡
  11. 模型转换一致性测试 理解等级:中级 普通读书笔记卡
  12. 模型性质测试 理解等级:中级 普通读书笔记卡
  13. 实验与产物追踪 理解等级:中级 普通读书笔记卡
  14. 模型单调性测试 理解等级:中级 普通读书笔记卡
  15. 模型变换不变性 理解等级:中级 普通读书笔记卡
  16. 模型微扰稳健性 理解等级:中级 普通读书笔记卡
  17. 模型输出一致性 理解等级:中级 普通读书笔记卡
  18. 反向变化性质测试 理解等级:中级 普通读书笔记卡

11 Features and feature engineering

38 张卡片
  1. 特征工程的迭代 理解等级:中级 普通读书笔记卡
  2. 特征选择的工程权衡 理解等级:高级 普通读书笔记卡
  3. 时间序列滞后与聚合 理解等级:中级 普通读书笔记卡
  4. 连续特征分桶 理解等级:中级 普通读书笔记卡
  5. 目标编码泄漏 理解等级:高级 普通读书笔记卡
  6. 文本词袋与词序 理解等级:中级 普通读书笔记卡
  7. 特征交叉 理解等级:中级 普通读书笔记卡
  8. 模型输出作为特征 理解等级:高级 普通读书笔记卡
  9. 可解释性与可说明性 理解等级:中级 普通读书笔记卡
  10. 模型专用与通用解释 理解等级:中级 普通读书笔记卡
  11. 局部与全局解释 理解等级:中级 普通读书笔记卡
  12. 置换特征重要性 理解等级:中级 普通读书笔记卡
  13. SHAP特征贡献 理解等级:中级 普通读书笔记卡
  14. LIME局部近似 理解等级:中级 普通读书笔记卡
  15. 显著性图 理解等级:中级 普通读书笔记卡
  16. 遮挡解释 理解等级:中级 普通读书笔记卡
  17. 注意力权重的边界 理解等级:高级 普通读书笔记卡
  18. 特征选择与数据泄漏 理解等级:高级 普通读书笔记卡
  19. 过滤式特征选择 理解等级:中级 普通读书笔记卡
  20. 包裹式特征选择 理解等级:中级 普通读书笔记卡
  21. 嵌入式特征选择 理解等级:中级 普通读书笔记卡
  22. 影子特征基线 理解等级:中级 普通读书笔记卡
  23. 特征库 理解等级:中级 普通读书笔记卡
  24. 特征预计算与聚合 理解等级:中级 普通读书笔记卡
  25. 特征版本与血缘 理解等级:高级 普通读书笔记卡
  26. 特征目录 理解等级:中级 普通读书笔记卡
  27. 离线与实时特征 理解等级:中级 普通读书笔记卡
  28. 特征生成与选择 理解等级:中级 普通读书笔记卡
  29. 特征组共享计算 理解等级:中级 普通读书笔记卡
  30. 顺序特征选择 理解等级:中级 普通读书笔记卡
  31. 锚点解释 理解等级:中级 普通读书笔记卡
  32. 特征选择的信号损失 理解等级:高级 普通读书笔记卡
  33. DeepETA到达时间预测 理解等级:中级 延伸参考卡
  34. LIME局部解释论文 理解等级:中级 延伸参考卡
  35. Anchors局部规则论文 理解等级:中级 延伸参考卡
  36. 视觉显著性检测研究 理解等级:中级 延伸参考卡
  37. 随机遮挡解释研究 理解等级:中级 延伸参考卡
  38. 有序类别编码 理解等级:初级 普通读书笔记卡

12 Measuring and reporting results

22 张卡片
  1. 离线效果与业务指标 理解等级:高级 普通读书笔记卡
  2. 预测误差与业务损失 理解等级:中级 普通读书笔记卡
  3. 反事实反馈缺失 理解等级:高级 普通读书笔记卡
  4. 历史回放评估策略 理解等级:高级 普通读书笔记卡
  5. 人工比较评估 理解等级:中级 普通读书笔记卡
  6. 随机对照实验 理解等级:中级 普通读书笔记卡
  7. 实验假设与方案 理解等级:中级 普通读书笔记卡
  8. 最小可检测效应 理解等级:中级 普通读书笔记卡
  9. 第一类与第二类错误 理解等级:中级 普通读书笔记卡
  10. 实验分组单位 理解等级:高级 普通读书笔记卡
  11. Switchback交替实验 理解等级:高级 普通读书笔记卡
  12. 实验指标分工 理解等级:中级 普通读书笔记卡
  13. p值的含义 理解等级:中级 普通读书笔记卡
  14. Welch均值检验 理解等级:中级 普通读书笔记卡
  15. A A与A B模拟 理解等级:高级 普通读书笔记卡
  16. 重复查看实验结果 理解等级:高级 普通读书笔记卡
  17. 实验停止规则 理解等级:高级 普通读书笔记卡
  18. 报告效应与不确定性 理解等级:中级 普通读书笔记卡
  19. 实验复盘记录 理解等级:中级 普通读书笔记卡
  20. 新闻推荐离线回放研究 理解等级:中级 延伸参考卡
  21. Switchback实验设计研究 理解等级:中级 延伸参考卡
  22. 在线受控实验指南 理解等级:中级 延伸参考卡

13 Integration

24 张卡片
  1. 集成贯穿系统生命周期 理解等级:中级 普通读书笔记卡
  2. API简单与可配置 理解等级:高级 普通读书笔记卡
  3. 显式控制随机性与时间 理解等级:中级 普通读书笔记卡
  4. 模型与流水线版本 理解等级:高级 普通读书笔记卡
  5. 外部模型版本漂移 理解等级:高级 普通读书笔记卡
  6. 内外层接口分离 理解等级:中级 普通读书笔记卡
  7. 推理与数据访问分离 理解等级:中级 普通读书笔记卡
  8. 接口客户端封装 理解等级:中级 普通读书笔记卡
  9. 特性开关控制回退 理解等级:中级 普通读书笔记卡
  10. 模型发布的增益与退步 理解等级:高级 普通读书笔记卡
  11. 模型和服务独立发布 理解等级:中级 普通读书笔记卡
  12. 蓝绿与金丝雀发布 理解等级:中级 普通读书笔记卡
  13. 金丝雀与A B实验 理解等级:中级 普通读书笔记卡
  14. 影子模式验证 理解等级:中级 普通读书笔记卡
  15. 运行时的运维连接 理解等级:中级 普通读书笔记卡
  16. 回退方案与触发 理解等级:中级 普通读书笔记卡
  17. 人工覆盖及技术债 理解等级:高级 普通读书笔记卡
  18. 规则作为弱监督来源 理解等级:中级 普通读书笔记卡
  19. 知识库提示替代重训 理解等级:中级 普通读书笔记卡
  20. 数据编程与弱监督 理解等级:中级 延伸参考卡
  21. 多任务弱监督研究 理解等级:中级 延伸参考卡
  22. Snorkel弱监督工具 理解等级:中级 延伸参考卡
  23. 凤凰项目与DevOps 理解等级:中级 延伸参考卡
  24. JAX显式随机状态 理解等级:中级 延伸参考卡

14 Monitoring and reliability

28 张卡片
  1. 机器学习监控的层次 理解等级:中级 普通读书笔记卡
  2. 服务健康指标 理解等级:中级 普通读书笔记卡
  3. 预测日志与溯源 理解等级:高级 普通读书笔记卡
  4. 处理成功不等于数据完整 理解等级:中级 普通读书笔记卡
  5. 数据源损坏监控 理解等级:中级 普通读书笔记卡
  6. 级联模型端到端检查 理解等级:高级 普通读书笔记卡
  7. 数据模式变化 理解等级:中级 普通读书笔记卡
  8. 训练与服务数据偏差 理解等级:高级 普通读书笔记卡
  9. 数据质量检查 理解等级:中级 普通读书笔记卡
  10. 非结构化数据质量代理 理解等级:中级 普通读书笔记卡
  11. 逐阶段验证数据 理解等级:中级 普通读书笔记卡
  12. 告警阈值与疲劳 理解等级:高级 普通读书笔记卡
  13. 模型退化 理解等级:中级 普通读书笔记卡
  14. 输入数据漂移 理解等级:中级 普通读书笔记卡
  15. 概念漂移 理解等级:高级 普通读书笔记卡
  16. 预测输出漂移 理解等级:中级 普通读书笔记卡
  17. 渐进突发与周期漂移 理解等级:中级 普通读书笔记卡
  18. 标签延迟时监控代理 理解等级:高级 普通读书笔记卡
  19. 群体模型效果监控 理解等级:高级 普通读书笔记卡
  20. 漂移后先查数据质量 理解等级:高级 普通读书笔记卡
  21. 漂移响应方案 理解等级:高级 普通读书笔记卡
  22. 异常点与分布漂移 理解等级:中级 普通读书笔记卡
  23. 业务指标监控 理解等级:高级 普通读书笔记卡
  24. 服务水平指标 理解等级:中级 普通读书笔记卡
  25. 数据质量维度 理解等级:中级 普通读书笔记卡
  26. 监控系统金字塔 理解等级:中级 延伸参考卡
  27. 机器学习数据校验研究 理解等级:中级 延伸参考卡
  28. Evidently监控工具 理解等级:中级 延伸参考卡

15 Serving and inference optimization

26 张卡片
  1. 推理流水线 理解等级:中级 普通读书笔记卡
  2. 延迟与吞吐 理解等级:中级 普通读书笔记卡
  3. 推理平台约束 理解等级:中级 普通读书笔记卡
  4. 推理成本与峰值 理解等级:高级 普通读书笔记卡
  5. 结构并行与推理速度 理解等级:高级 普通读书笔记卡
  6. 研究与生产推理差异 理解等级:高级 普通读书笔记卡
  7. 动态批处理 理解等级:中级 普通读书笔记卡
  8. 按长度分批 理解等级:中级 普通读书笔记卡
  9. 推理结果缓存 理解等级:中级 普通读书笔记卡
  10. 模糊缓存误命中 理解等级:高级 普通读书笔记卡
  11. 按难度路由模型 理解等级:高级 普通读书笔记卡
  12. 先快后准的响应 理解等级:中级 普通读书笔记卡
  13. 推理引擎与框架 理解等级:中级 普通读书笔记卡
  14. ONNX模型格式与运行时 理解等级:中级 普通读书笔记卡
  15. 无服务器推理 理解等级:高级 普通读书笔记卡
  16. 冷启动与推理延迟 理解等级:中级 普通读书笔记卡
  17. 先性能分析再优化 理解等级:高级 普通读书笔记卡
  18. GPU性能分析的边界 理解等级:高级 普通读书笔记卡
  19. 分层优化推理 理解等级:中级 普通读书笔记卡
  20. 先满足部署约束 理解等级:高级 普通读书笔记卡
  21. Triton推理服务 理解等级:中级 延伸参考卡
  22. OpenVINO与TensorRT 理解等级:中级 延伸参考卡
  23. TVM模型编译 理解等级:中级 延伸参考卡
  24. CoreML设备推理 理解等级:中级 延伸参考卡
  25. PowerInfer推理研究 理解等级:中级 延伸参考卡
  26. 模型路由研究 理解等级:中级 延伸参考卡

16 Ownership and maintenance

17 张卡片
  1. 系统责任从设计开始 理解等级:中级 普通读书笔记卡
  2. 明确责任与升级路径 理解等级:中级 普通读书笔记卡
  3. RACI责任矩阵 理解等级:中级 普通读书笔记卡
  4. 值班轮换与工具 理解等级:中级 普通读书笔记卡
  5. 按影响比例复盘 理解等级:中级 普通读书笔记卡
  6. 巴士因子 理解等级:中级 普通读书笔记卡
  7. 效率与冗余的平衡 理解等级:高级 普通读书笔记卡
  8. 分散关键知识 理解等级:中级 普通读书笔记卡
  9. 维护型文档体系 理解等级:中级 普通读书笔记卡
  10. 控制系统复杂度 理解等级:高级 普通读书笔记卡
  11. 复杂故障的组合原因 理解等级:高级 普通读书笔记卡
  12. 值班分层与升级 理解等级:中级 普通读书笔记卡
  13. CAP与网络分区 理解等级:高级 普通读书笔记卡
  14. YAGNI避免提前扩展 理解等级:中级 普通读书笔记卡
  15. KISS保持适度简单 理解等级:中级 普通读书笔记卡
  16. DRY与抽象成本 理解等级:高级 普通读书笔记卡
  17. 复杂系统事故的多因性 理解等级:高级 延伸参考卡

全书概览

Machine Learning System Design

Skill 版本:book-notes v24
执行模式:light
建档进度:done
信息浓度:高
稳定性:高
评级:经典原理

评级依据:四部分各完整抽读一章及其图表。第2章解释如何通过业务上下文和错误成本识别问题;第8章比较基线的验证、基准和回退用途及复杂度权衡;第10章解释训练流水线的可复现、配置和测试;第16章讨论责任、知识冗余与维护。论述以设计取舍和可迁移方法为主,具体平台及作者经验会随场景和时间变化。抽样不代替全文阅读。

整书笔记|阅读覆盖|工作流

章节进度追踪表

章节号 章节标题 状态 卡片数
s05 preface done 0
s07 about this book done 0
s08 about the authors done 0
s09 about the cover illustration done 0
s10 Part 1 Preparations done 0
s11 1 Essentials of machine learning system design done 6
s12 2 Is there a problem? done 11
s13 3 Preliminary research done 16
s14 4 Design document done 9
s15 Part 2 Early stage done 0
s16 5 Loss functions and metrics done 29
s17 6 Gathering datasets done 25
s18 7 Validation schemas done 21
s19 8 Baseline solution done 22
s20 Part 3 Intermediate steps done 0
s21 9 Error analysis done 23
s22 10 Training pipelines done 18
s23 11 Features and feature engineering done 38
s24 12 Measuring and reporting results done 22
s25 Part 4 Integration and growth done 0
s26 13 Integration done 24
s27 14 Monitoring and reliability done 28
s28 15 Serving and inference optimization done 26
s29 16 Ownership and maintenance done 17

非正文排除

spine项 类型 排除理由
1 封面 仅封面图
2 扉页 仅书名作者出版信息
3 版权页 仅版权和出版元数据
4 目录 导航目录,无正文
6 致谢 感谢名单与致谢
30 索引 词条定位索引,无独立正文

待关联术语

术语名 出现章节 一句话语境
Cohen’s kappa 第6章 列为标注者一致性指标,未展开计算。
Scott’s pi 第6章 列为标注者一致性指标,未展开计算。
Krippendorff’s alpha 第6章 列为标注者一致性指标,未展开计算。
COCO 第6章 提及可用于模型预训练的公开图像数据集。
TF-IDF 第8章 提及用词频和逆文档频率向量化文本,没有展开计算。
LoRA 第8章 提及低秩适配微调,未展开机制。
BM25 第11章 提及用于文本表示或检索,未展开计算。
One-hot encoding 第11章 提及类别编码方式,未展开机制。
Hashing trick 第11章 提及大规模类别编码方式。
Activation maximization 第11章 提及深度模型可解释性方法。
Layer-wise relevance propagation 第11章 提及深度模型可解释性方法。
Ridge regression 第11章 特征交叉案例中提及使用的回归模型。
Difference-in-differences 第12章 提及无法进行 A/B 时的替代方法,未展开。
Synthetic control 第12章 提及无法进行 A/B 时的替代方法,未展开。
Interrupted time-series analysis 第12章 提及无法进行 A/B 时的替代方法,未展开。
Regression discontinuity design 第12章 提及无法进行 A/B 时的替代方法,未展开。
Causal inference 第12章 提及实验与替代方案的因果推断背景。
Demographic parity 第14章 提及群体公平性指标,未展开计算。
Equalized odds 第14章 提及群体公平性指标,未展开计算。
Population Stability Index 第14章 案例提出用于预测分布变化监控。
Wasserstein distance 第14章 案例提出用于比较分布变化。
Covariate shift 第14章 输入分布变化的特定设定;原文与数据漂移并列。
Model pruning 第15章 提及模型压缩方法,未展开机制。
Quantization 第15章 提及压缩和推理优化方法,未展开计算。
Knowledge distillation 第15章 提及模型优化方法,未展开机制。
Mixture of experts 第15章 提及模型路由的架构灵感。

引用文献

标题 类型 出现章节 一句话语境
Survey of Hallucination in Natural Language Generation 论文 第3章 推荐进一步了解文本生成幻觉。
LangChain 框架 第3章 提及与外部工具组合相关的开源框架,未展开机制。
Can Natural Language Processing Help Differentiate Inflammatory Intestinal Diseases in China? 论文 第5章 提到将 focal loss 用于自然语言处理,未展开论文方法。
Learning to Rank Diversely at Airbnb 论文 第5章 推荐作为搜索结果多样性的后续研究参考。
Designing Data-Intensive Applications 书 第6章 推荐进一步学习大规模数据工程。
A Brief Introduction to Weakly Supervised Learning 论文 第6章 推荐了解弱监督。
Awesome-Weak-Supervision 源码项目 第6章 汇集弱监督延伸资料。
A Survey on Task Assignment in Crowdsourcing 论文 第6章 推荐了解众包任务分配研究。
A Comparative Survey of Deep Active Learning 论文 第6章 推荐了解深度主动学习方法。
Explainable Uncertainty Quantifications for Deep Learning-Based Molecular Property Prediction 论文 第6章 不确定性示意图的来源。
Segment Anything 源码项目 第6章 提及可用于分割标注的基础模型。
LLaVA 源码项目 第6章 提及多模态基础模型辅助标注。
Refuel Docs 源码项目 第6章 提及面向文本的大模型标注工具。
scikit-learn 框架 第7章 提及常见验证划分方法及其文档。
Advances in Financial Machine Learning 书 第7章 引用第12章讨论金融数据回测。
Scarcity of Labels in Non-Stationary Data Streams: A Survey 论文 第7章 推荐了解动态数据流。
DVC 源码项目 第7章 提及数据及模型版本管理工具。
Git LFS 源码项目 第7章 提及用于版本管理的工具。
Deep Lake 源码项目 第7章 提及数据版本管理工具。
Lessons Learned in Software Testing 书 第8章 引用烟雾测试名称的由来。
LoRA: Low-Rank Adaptation of Large Language Models 论文 第8章 提及低秩适配方式并提供论文链接。
Forecasting with Price Elasticity of Demand 论文 第9章 推荐补充学习价格弹性预测。
图像分割示例论文 arXiv:1810.13230 论文 第9章 分割残差示意图来源,正文未展开论文内容。
MLflow 源码项目 第10章 提及实验跟踪与模型管理工具。
Kubeflow 源码项目 第10章 提及机器学习平台。
BentoML 源码项目 第10章 提及机器学习工具。
DeepSpeed 源码项目 第10章 提及分布式训练框架。
Accelerate 源码项目 第10章 提及训练扩展框架。
Horovod 源码项目 第10章 提及分布式训练框架。
Hydra 源码项目 第10章 提及训练配置工具。
Google Deep Learning Tuning Playbook 源码项目 第10章 推荐超参数调优指南。
Hyperopt 源码项目 第10章 提及超参数搜索工具。
Optuna 源码项目 第10章 提及超参数搜索工具。
scikit-optimize 源码项目 第10章 提及超参数搜索工具。
Flyte 源码项目 第10章 案例使用的工作流管理工具。
PyTorch Lightning 源码项目 第10章 案例使用的训练高层框架。
TensorBoard 源码项目 第10章 案例使用的训练指标可视化工具。
Amazon SageMaker 框架 第10章 提及云训练平台。
Google Vertex AI 框架 第10章 提及机器学习云平台。
Azure ML 框架 第10章 提及机器学习云平台。
PyTorch 框架 第10章 案例使用的训练框架。
Docker 源码项目 第10章 案例使用的容器化工具。
Spark 源码项目 第10章 案例使用的并行数据处理工具。
Reliable ML 源码项目 第10章 推荐用于继续学习机器学习测试的讲义。
Visualizing Deep Convolutional Neural Networks Using Natural Pre-Images 论文 第11章 推荐了解激活最大化。
Layer-wise Relevance Propagation for Neural Networks with Local Renormalization Layers 论文 第11章 推荐了解逐层相关性传播。
Visualizing and Understanding Convolutional Networks 论文 第11章 提及遮挡解释方法的早期研究。
Feast 源码项目 第11章 提及可选特征库实现。
Feathr 源码项目 第11章 提及可选特征库实现。
Tecton 框架 第11章 提及商业特征库方案。
Databricks Feature Store 框架 第11章 提及特征库方案。
AWS SageMaker Feature Store 框架 第11章 提及特征库方案。
SentenceTransformers 源码项目 第11章 提及生成短文本表征的工具。
Qdrant 源码项目 第11章 提及可用于向量相似检索的工具。
Faiss 源码项目 第11章 提及可用于向量相似检索的工具。
Fairness through Experimentation: Inequality in A/B Testing as an Approach to Responsible Design 论文 第12章 推荐了解实验中的群体差异。
Peeking Problem—The Fatal Mistake in A/B Testing and Experimentation 论文 第12章 推荐了解反复查看实验结果的问题。
Sequential A/B Testing 论文 第12章 推荐了解序贯实验方法。
ML Model Registry 源码项目 第13章 推荐模型注册表模式的延伸介绍。
Planting Undetectable Backdoors in Machine Learning Models 论文 第14章 推荐了解机器学习后门。
Feature Shift Detection: Localizing Which Features Have Shifted via Conditional Distribution Tests 论文 第14章 推荐用于特征变化检测的后续研究。
Which Test Is the Best? We Compared 5 Methods to Detect Data Drift on Large Datasets 论文 第14章 案例参考的数据漂移检测比较文章。
Prometheus 源码项目 第14章 提及用于监控指标。
Grafana 源码项目 第14章 提及用于监控可视化。
Elasticsearch 源码项目 第14章 提及日志检索栈组件。
Logstash 源码项目 第14章 提及日志处理栈组件。
Kibana 源码项目 第14章 提及日志可视化栈组件。
VictoriaMetrics 源码项目 第14章 提及指标存储工具。
AWS CloudWatch 框架 第14章 案例使用的日志和指标服务。
Datadog 框架 第14章 提及监控服务。
ClickHouse 源码项目 第14章 案例用于保存预测日志。
Kafka 源码项目 第14章 案例监控栈组件。
Deepchecks 源码项目 第14章 提及可能用于模型检查。
Pruning and Quantization for Deep Neural Network Acceleration: A Survey 论文 第15章 推荐了解剪枝与量化。
Knowledge Distillation: A Survey 论文 第15章 推荐了解知识蒸馏。
Algorithms for Modern Hardware 书 第15章 推荐了解硬件相关优化。
GPTCache 源码项目 第15章 提及语义缓存工具。
TensorFlow Serving 源码项目 第15章 提及支持动态批处理的服务框架。
AITemplate 源码项目 第15章 提及针对不同设备的推理工具。
TensorFlow Lite 源码项目 第15章 提及移动端推理工具。
vLLM 源码项目 第15章 提及大模型推理引擎。
TGI 源码项目 第15章 提及大模型推理引擎。
GGML 源码项目 第15章 提及大模型推理工具。
TorchServe 源码项目 第15章 提及推理服务框架。
Scalene 源码项目 第15章 提及性能分析工具。
Memray 源码项目 第15章 提及内存分析工具。
py-spy 源码项目 第15章 提及性能分析工具。
PyTorch Profiler 源码项目 第15章 提及框架内性能分析工具。
nvprof 源码项目 第15章 提及 GPU 性能分析工具。
Numba 源码项目 第15章 提及数值代码优化工具。
AWS Lambda 框架 第15章 提及无服务器运行环境。
AWS Batch 框架 第15章 零售案例使用的批处理服务。
Amazon ElastiCache 框架 第15章 图片搜索案例使用的缓存服务。
Surely You’re Joking, Mr. Feynman! 书 第16章 引用多人讨论和决策的经历。
Rasmussen model for failures 论文 第16章 推荐了解成本、性能与人力的取舍模型。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 笔记检索设计文档 真实任务 done 第1章 计划,尚未执行
002 检索数据泄漏检查 真实任务 done 第7章 计划,尚未执行

实践候选筛选:done

取舍:采用能够以现有本地卡片库为对象、可有限验证的设计和数据划分计划;监控、线上实验和部署优化需要实际运行系统或额外授权,当前没有明确对象,暂不生成。

2026-11-14 本轮恢复与发布

本轮执行 book-workflow v4 / book-notes v24,--mode light;保留首次v24。原EPUB与197个缓存资源及历史来源清单逐字节一致,30项spine的阅读文本已从当前XHTML重新派生并精确匹配;24正文项、400阅读单元及其原生锚点和候选去向有效。旧阶段2的340个内容文件全部hash匹配,复用335卡、完整整书讲解及2份真实任务实践计划,实践及测试未执行。全书高浓度/高稳定性、经典原理,保持P1;最终真实导入、335定位及335出处对账、归档与验收见 _workflow.md。轻量模式:未执行复核、审查及审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。