主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
7/7
Skill 版本:未记录
类别:大数据与机器学习平台工程类(2026-09-27 按授权新建,见 category-checklists.md)
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 Hadoop、Mahout、Spark 2.4、TensorFlow 1.x 等版本以出版时为准;Mahout 基于 MapReduce 的实现已不再是该项目的主要方向。
四象限评级:工程实践(高信息浓度 + 低稳定性)
评级理由:本书围绕分布式机器学习工程落地展开,包含大数据算法系统架构、Hadoop/Hive/HBase/Spark底座、Mahout/Spark MLlib算法、TensorFlow/MXNet分布式训练和工业级推荐系统等内容,能解释“为什么需要离线计算、AB测试、数仓分层、内存迭代、分片复制”等工程设计。但大量篇幅绑定2020年前后的工具生态、安装命令、框架API与具体部署流程,版本时效性较强,因此整体归为“工程实践”,而非稳定性最高的经典原理。
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|
| 1 | 互联网公司大数据和人工智能那些事 | 略读 | done | 0 |
| 2 | 大数据算法系统架构 | 精读 | done | 4 |
| 3 | 大数据基础 | 精读 | done | 6 |
| 4 | Docker容器 | 略读 | done | 0 |
| 5 | Mahout分布式机器学习平台 | 精读 | done | 6 |
| 6 | Spark分布式机器学习平台 | 精读 | done | 5 |
| 7 | 分布式深度学习实战 | 精读 | done | 7 |
| 8 | 完整工业级系统实战 | 精读 | done | 6 |
当前总卡片数:34
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 对比随机森林与GBDT | 行为实验 | done | 第6章 | 训练时间与 AUC 对照表 |
| 2 | 梳理数仓分层与复用 | 真实任务 | done | 第2、8章 | 分层清单与 mid 层改造记录 |
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储、计算与资源调度底座 | 已覆盖 | [[Hadoop三大核心]]、[[NameNode管元数据]]、[[Yarn是纯调度器]]、[[Spark擅长迭代计算]]、[[HBase列可动态增加]] |
| 数据仓库与数据处理 | 已覆盖 | [[数据仓库四层]]、[[Hive是数仓工具]]、[[算法离不开好数据]] |
| 分布式训练与参数同步 | 已覆盖 | [[参数服务器分两层]]、[[TensorFlow数据流图]]、[[Mahout借MR运行]]、[[Spark内存计算]] |
| 算法库与模型选择 | 已覆盖 | [[MLlib覆盖常用算法]]、[[Bagging等权投票]]、[[Boosting关注错分]]、[[GBDT迭代减损失]]、[[K均值关键在初值]]、[[关联规则分两阶段]] |
| 离线、准实时与在线架构 | 已覆盖 | [[实时协同过滤]]、[[推荐是系统工程]]、[[离线在线搜索分开]]、[[算法系统两点不同]] |
| 效果评估与迭代 | 已覆盖 | [[AB测试的作用]]、[[算法系统两点不同]] |
| 工程可靠性与扩展 | 已覆盖 | [[工业级系统的标准]]、[[分片与复制各有用处]]、[[离线在线搜索分开]] |
本书讲大数据算法系统架构、Hadoop/Hive/HBase/Spark 底座、Mahout 与 Spark MLlib 算法、TensorFlow/MXNet 分布式深度学习和工业级推荐搜索系统;卡片复用大数据计算范式、Lambda 架构、数据质量治理、存储复制、分布式机器学习训练、机器学习基础、检索、AB 实验等既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 算法系统两点不同 | 已复用 | notes/_topics/lambda-architecture.md、notes/_topics/enterprise-data-strategy.md |
| 实时协同过滤 | 已复用 | notes/_topics/lambda-architecture.md、notes/_topics/big-data-business-applications.md、notes/_topics/stream-processing-backpressure.md |
| 数据仓库四层 | 已复用 | notes/_topics/data-quality-governance.md |
| 风控用模型替经验 | 已复用 | notes/_topics/big-data-business-applications.md |
| Hadoop三大核心 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| NameNode管元数据 | 已复用 | notes/_topics/distributed-storage-replication.md |
| Yarn是纯调度器 | 已复用 | notes/_topics/capacity-scheduling.md |
| Hive是数仓工具 | 已复用 | notes/_topics/storage-model-choices.md |
| HBase列可动态增加 | 已复用 | notes/_topics/storage-model-choices.md |
| Spark擅长迭代计算 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Mahout借MR运行 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/distributed-ml-training.md |
| 用脚本参数跑分布式 | 已复用 | notes/_topics/distributed-ml-training.md |
| LDA文档主题模型 | 已复用 | notes/_topics/ml-fundamentals.md、notes/_topics/matrix-factorization-clustering.md |
| MinHash估集合相似 | 已复用 | notes/_topics/ml-fundamentals.md |
| K均值关键在初值 | 已复用 | notes/_topics/ml-fundamentals.md、notes/_topics/matrix-factorization-clustering.md |
| 关联规则分两阶段 | 已复用 | notes/_topics/ml-fundamentals.md |
| Spark内存计算 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| MLlib覆盖常用算法 | 已复用 | notes/_topics/ml-fundamentals.md |
| Bagging等权投票 | 已复用 | notes/_topics/ml-fundamentals.md |
| Boosting关注错分 | 已复用 | notes/_topics/ml-fundamentals.md |
| GBDT迭代减损失 | 已复用 | notes/_topics/ml-fundamentals.md |
| 深度学习学表示 | 已复用 | notes/_topics/ml-fundamentals.md |
| TensorFlow数据流图 | 已复用 | notes/_topics/distributed-ml-training.md |
| 参数服务器分两层 | 已复用 | notes/_topics/distributed-ml-training.md |
| CNN各层分工 | 已复用 | notes/_topics/ml-fundamentals.md |
| RNN处理序列 | 已复用 | notes/_topics/ml-fundamentals.md |
| LSTM三个门 | 已复用 | notes/_topics/ml-fundamentals.md |
| Seq2Seq编码解码 | 已复用 | notes/_topics/ml-fundamentals.md |
| 工业级系统的标准 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/scalability-dimensions.md |
| 推荐是系统工程 | 已复用 | notes/_topics/big-data-business-applications.md |
| 算法离不开好数据 | 已复用 | notes/_topics/data-quality-governance.md |
| 离线在线搜索分开 | 已复用 | notes/_topics/inverted-index-query.md、notes/_topics/defense-in-depth-blast-radius.md |
| 分片与复制各有用处 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/inverted-index-query.md |
| AB测试的作用 | 已复用 | notes/_topics/ab-experiment-design.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
比较多层防护、分段拦截与故障/入侵影响范围限制的设计方法。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
主题索引
具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。
主题索引
比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。
主题索引
CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
比较 A/B 实验的假设检验、样本量与方差控制、区组设计,以及网络效应、双边市场、强约束场景下的特殊实验设计。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。
主题索引
参数服务器的三角色与两层结构,SSP 用陈旧度下界放宽同步、VAP 限制增量传播;参数分片、缓存新鲜度、拉推周期与二维切分怎样决定训练吞吐,以及宽松同步为什么不自动保证收敛。