来源书籍

分布式机器学习实战

Skill 版本:v8 大数据与机器学习平台工程类 工程实践(高信息浓度 + 低稳定性) 34 张卡片

尚未生成整书笔记。

类别清单覆盖

7/7

已覆盖 7 补充生成 0 未覆盖 0

章节与卡片

02 大数据算法系统架构

4 张卡片
  1. 算法系统两点不同 理解等级:未标注 普通读书笔记卡
  2. 实时协同过滤 理解等级:未标注 普通读书笔记卡
  3. 数据仓库四层 理解等级:未标注 普通读书笔记卡
  4. 风控用模型替经验 理解等级:未标注 普通读书笔记卡

03 大数据基础

6 张卡片
  1. Hadoop三大核心 理解等级:未标注 普通读书笔记卡
  2. NameNode管元数据 理解等级:未标注 普通读书笔记卡
  3. Yarn是纯调度器 理解等级:未标注 普通读书笔记卡
  4. Hive是数仓工具 理解等级:未标注 普通读书笔记卡
  5. HBase列可动态增加 理解等级:未标注 普通读书笔记卡
  6. Spark擅长迭代计算 理解等级:未标注 普通读书笔记卡

05 Mahout分布式机器学习平台

6 张卡片
  1. Mahout借MR运行 理解等级:未标注 普通读书笔记卡
  2. 用脚本参数跑分布式 理解等级:未标注 普通读书笔记卡
  3. LDA文档主题模型 理解等级:未标注 普通读书笔记卡
  4. MinHash估集合相似 理解等级:未标注 普通读书笔记卡
  5. K均值关键在初值 理解等级:未标注 普通读书笔记卡
  6. 关联规则分两阶段 理解等级:未标注 普通读书笔记卡

06 Spark分布式机器学习平台

5 张卡片
  1. Spark内存计算 理解等级:未标注 普通读书笔记卡
  2. MLlib覆盖常用算法 理解等级:未标注 普通读书笔记卡
  3. Bagging等权投票 理解等级:未标注 普通读书笔记卡
  4. Boosting关注错分 理解等级:未标注 普通读书笔记卡
  5. GBDT迭代减损失 理解等级:未标注 普通读书笔记卡

07 分布式深度学习实战

7 张卡片
  1. 深度学习学表示 理解等级:未标注 普通读书笔记卡
  2. TensorFlow数据流图 理解等级:未标注 普通读书笔记卡
  3. 参数服务器分两层 理解等级:未标注 普通读书笔记卡
  4. CNN各层分工 理解等级:未标注 普通读书笔记卡
  5. RNN处理序列 理解等级:未标注 普通读书笔记卡
  6. LSTM三个门 理解等级:未标注 普通读书笔记卡
  7. Seq2Seq编码解码 理解等级:未标注 普通读书笔记卡

08 完整工业级系统实战

6 张卡片
  1. 工业级系统的标准 理解等级:未标注 普通读书笔记卡
  2. 推荐是系统工程 理解等级:未标注 普通读书笔记卡
  3. 算法离不开好数据 理解等级:未标注 普通读书笔记卡
  4. 离线在线搜索分开 理解等级:未标注 普通读书笔记卡
  5. 分片与复制各有用处 理解等级:未标注 普通读书笔记卡
  6. AB测试的作用 理解等级:未标注 普通读书笔记卡

全书概览

分布式机器学习实战

Skill 版本:未记录

类别:大数据与机器学习平台工程类(2026-09-27 按授权新建,见 category-checklists.md)

本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 Hadoop、Mahout、Spark 2.4、TensorFlow 1.x 等版本以出版时为准;Mahout 基于 MapReduce 的实现已不再是该项目的主要方向。

四象限评级:工程实践(高信息浓度 + 低稳定性)

评级理由:本书围绕分布式机器学习工程落地展开,包含大数据算法系统架构、Hadoop/Hive/HBase/Spark底座、Mahout/Spark MLlib算法、TensorFlow/MXNet分布式训练和工业级推荐系统等内容,能解释“为什么需要离线计算、AB测试、数仓分层、内存迭代、分片复制”等工程设计。但大量篇幅绑定2020年前后的工具生态、安装命令、框架API与具体部署流程,版本时效性较强,因此整体归为“工程实践”,而非稳定性最高的经典原理。

章节取舍

  • 第1章《互联网公司大数据和人工智能那些事》:略读。背景、岗位和薪资信息多,概念密度低且部分市场信息时效性较强。
  • 第2章《大数据算法系统架构》:精读。讨论算法系统架构、数据闭环、推荐和画像等工程设计,概念可迁移。
  • 第3章《大数据基础》:精读。包含Hadoop、Hive、HBase、Spark等分布式数据底座的核心结构,需抽取原理型内容。
  • 第4章《Docker容器》:略读。主要是安装和命令清单,版本与操作步骤绑定较强。
  • 第5章《Mahout分布式机器学习平台》:精读。既有Mahout平台定位,也覆盖LDA、聚类、关联规则等算法定义。
  • 第6章《Spark分布式机器学习平台》:精读。Spark计算模型和MLlib算法权衡较集中,适合形成工作卡片。
  • 第7章《分布式深度学习实战》:精读。覆盖TensorFlow、MXNet、CNN/RNN/LSTM/Seq2Seq等关键定义和分布式训练思路。
  • 第8章《完整工业级系统实战》:精读。从推荐系统、人脸识别、对话机器人落到工业级架构,工程闭环价值高。

章节进度追踪

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
1 互联网公司大数据和人工智能那些事 略读 done 0
2 大数据算法系统架构 精读 done 4
3 大数据基础 精读 done 6
4 Docker容器 略读 done 0
5 Mahout分布式机器学习平台 精读 done 6
6 Spark分布式机器学习平台 精读 done 5
7 分布式深度学习实战 精读 done 7
8 完整工业级系统实战 精读 done 6

当前总卡片数:34

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 对比随机森林与GBDT 行为实验 done 第6章 训练时间与 AUC 对照表
2 梳理数仓分层与复用 真实任务 done 第2、8章 分层清单与 mid 层改造记录

类别清单核对(大数据与机器学习平台工程类)

必答维度 覆盖状态 关联卡片标题或未覆盖理由
存储、计算与资源调度底座 已覆盖 [[Hadoop三大核心]]、[[NameNode管元数据]]、[[Yarn是纯调度器]]、[[Spark擅长迭代计算]]、[[HBase列可动态增加]]
数据仓库与数据处理 已覆盖 [[数据仓库四层]]、[[Hive是数仓工具]]、[[算法离不开好数据]]
分布式训练与参数同步 已覆盖 [[参数服务器分两层]]、[[TensorFlow数据流图]]、[[Mahout借MR运行]]、[[Spark内存计算]]
算法库与模型选择 已覆盖 [[MLlib覆盖常用算法]]、[[Bagging等权投票]]、[[Boosting关注错分]]、[[GBDT迭代减损失]]、[[K均值关键在初值]]、[[关联规则分两阶段]]
离线、准实时与在线架构 已覆盖 [[实时协同过滤]]、[[推荐是系统工程]]、[[离线在线搜索分开]]、[[算法系统两点不同]]
效果评估与迭代 已覆盖 [[AB测试的作用]]、[[算法系统两点不同]]
工程可靠性与扩展 已覆盖 [[工业级系统的标准]]、[[分片与复制各有用处]]、[[离线在线搜索分开]]

主题索引维护

本书讲大数据算法系统架构、Hadoop/Hive/HBase/Spark 底座、Mahout 与 Spark MLlib 算法、TensorFlow/MXNet 分布式深度学习和工业级推荐搜索系统;卡片复用大数据计算范式、Lambda 架构、数据质量治理、存储复制、分布式机器学习训练、机器学习基础、检索、AB 实验等既有主题,未新建主题。

卡片标题 结论 主题文件或原因
算法系统两点不同 已复用 notes/_topics/lambda-architecture.md、notes/_topics/enterprise-data-strategy.md
实时协同过滤 已复用 notes/_topics/lambda-architecture.md、notes/_topics/big-data-business-applications.md、notes/_topics/stream-processing-backpressure.md
数据仓库四层 已复用 notes/_topics/data-quality-governance.md
风控用模型替经验 已复用 notes/_topics/big-data-business-applications.md
Hadoop三大核心 已复用 notes/_topics/big-data-compute-paradigms.md
NameNode管元数据 已复用 notes/_topics/distributed-storage-replication.md
Yarn是纯调度器 已复用 notes/_topics/capacity-scheduling.md
Hive是数仓工具 已复用 notes/_topics/storage-model-choices.md
HBase列可动态增加 已复用 notes/_topics/storage-model-choices.md
Spark擅长迭代计算 已复用 notes/_topics/big-data-compute-paradigms.md
Mahout借MR运行 已复用 notes/_topics/big-data-compute-paradigms.md、notes/_topics/distributed-ml-training.md
用脚本参数跑分布式 已复用 notes/_topics/distributed-ml-training.md
LDA文档主题模型 已复用 notes/_topics/ml-fundamentals.md、notes/_topics/matrix-factorization-clustering.md
MinHash估集合相似 已复用 notes/_topics/ml-fundamentals.md
K均值关键在初值 已复用 notes/_topics/ml-fundamentals.md、notes/_topics/matrix-factorization-clustering.md
关联规则分两阶段 已复用 notes/_topics/ml-fundamentals.md
Spark内存计算 已复用 notes/_topics/big-data-compute-paradigms.md
MLlib覆盖常用算法 已复用 notes/_topics/ml-fundamentals.md
Bagging等权投票 已复用 notes/_topics/ml-fundamentals.md
Boosting关注错分 已复用 notes/_topics/ml-fundamentals.md
GBDT迭代减损失 已复用 notes/_topics/ml-fundamentals.md
深度学习学表示 已复用 notes/_topics/ml-fundamentals.md
TensorFlow数据流图 已复用 notes/_topics/distributed-ml-training.md
参数服务器分两层 已复用 notes/_topics/distributed-ml-training.md
CNN各层分工 已复用 notes/_topics/ml-fundamentals.md
RNN处理序列 已复用 notes/_topics/ml-fundamentals.md
LSTM三个门 已复用 notes/_topics/ml-fundamentals.md
Seq2Seq编码解码 已复用 notes/_topics/ml-fundamentals.md
工业级系统的标准 已复用 notes/_topics/high-availability-architecture.md、notes/_topics/scalability-dimensions.md
推荐是系统工程 已复用 notes/_topics/big-data-business-applications.md
算法离不开好数据 已复用 notes/_topics/data-quality-governance.md
离线在线搜索分开 已复用 notes/_topics/inverted-index-query.md、notes/_topics/defense-in-depth-blast-radius.md
分片与复制各有用处 已复用 notes/_topics/distributed-storage-replication.md、notes/_topics/inverted-index-query.md
AB测试的作用 已复用 notes/_topics/ab-experiment-design.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

机器学习基础算法

比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。

138 张卡片 · 15 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

企业数据战略、组织与价值评估

比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。

65 张卡片 · 8 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

矩阵分解与无监督聚类

比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。

46 张卡片 · 7 本书

主题索引

深度表示与任务网络

CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。

37 张卡片 · 5 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

A/B实验设计与分析

比较 A/B 实验的假设检验、样本量与方差控制、区组设计,以及网络效应、双边市场、强约束场景下的特殊实验设计。

30 张卡片 · 5 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书

主题索引

参数服务器与同步宽松度

参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。

22 张卡片 · 4 本书