来源书籍

大数据技术体系详解_原理、架构与实践

Skill 版本:v8 分布式系统类 工程实践(高信息浓度 + 低稳定性) 125 张卡片

尚未生成整书笔记。

类别清单覆盖

3/6

已覆盖 3 补充生成 0 未覆盖 3

章节与卡片

01 企业级大数据技术体系概述

5 张卡片
  1. 大数据六层技术体系分层架构 理解等级:未标注 结构图卡
  2. Lambda Architecture:批处理层+流式处理层+服务层的互补设计 理解等级:未标注 结构图卡
  3. Google技术论文与开源大数据生态的思想传承关系 理解等级:未标注 普通读书笔记卡
  4. 大数据四特征约束处理链 理解等级:中级 普通读书笔记卡
  5. 集群选型兼顾组件兼容与部署规模 理解等级:中级 普通读书笔记卡

02 关系型数据的收集

6 张卡片
  1. CDC四种增量数据捕获方案的权衡 理解等级:未标注 结构图卡
  2. 业务库与分析平台双向搬运数据 理解等级:中级 普通读书笔记卡
  3. Sqoop用分片并行搬运关系数据 理解等级:中级 普通读书笔记卡
  4. Sqoop2把连接器与作业管理集中到服务端 理解等级:中级 普通读书笔记卡
  5. 跨机房同步分离抽取与落库阶段 理解等级:高级 普通读书笔记卡
  6. 分析结果回灌要定义更新键 理解等级:中级 普通读书笔记卡

03 非关系型数据的收集

7 张卡片
  1. Flume的Source-Channel-Sink解耦管道模式 理解等级:未标注 结构图卡
  2. 采集源需要保存读取断点 理解等级:中级 普通读书笔记卡
  3. Channel介质决定缓冲故障边界 理解等级:中级 普通读书笔记卡
  4. Event须在下一跳接收后移除 理解等级:中级 普通读书笔记卡
  5. 两层汇聚减少存储写入压力 理解等级:中级 普通读书笔记卡
  6. 按事件级别选择性复制日志 理解等级:中级 普通读书笔记卡
  7. Source与Sink连接Channel的基数不同 理解等级:中级 普通读书笔记卡

04 分布式消息队列Kafka

10 张卡片
  1. 消息队列的解耦价值与Kafka的push-pull架构选择 理解等级:未标注 结构图卡
  2. Kafka的Topic-Partition-Offset模型与分区内有序边界 理解等级:未标注 结构图卡
  3. Kafka acks:可控可靠性级别的三档权衡 理解等级:未标注 结构图卡
  4. 消息传递语义三分类及其实现手段 理解等级:未标注 结构图卡
  5. 顺序写与zero-copy:两个磁盘/网络IO层面的优化 理解等级:未标注 普通读书笔记卡
  6. 消息保留使消费者可以重读 理解等级:中级 普通读书笔记卡
  7. 消费者组分摊分区读取负载 理解等级:中级 普通读书笔记卡
  8. 分区副本由Leader统一对外读写 理解等级:中级 普通读书笔记卡
  9. 消费进度提交的丢失重复权衡 理解等级:高级 普通读书笔记卡
  10. 消费者并行度受分区数量限制 理解等级:中级 普通读书笔记卡

05 数据序列化与文件存储格式

5 张卡片
  1. 序列化技术演化四阶段与Schema演化的三种兼容性场景 理解等级:未标注 结构图卡
  2. Thrift/Protobuf/Avro三大序列化框架的设计取舍 理解等级:未标注 普通读书笔记卡
  3. 行式存储与列式存储的读写权衡 理解等级:未标注 结构图卡
  4. Sequence File三种压缩粒度的取舍 理解等级:未标注 结构图卡
  5. ORC/Parquet/CarbonData三种列存储格式的设计特色对比 理解等级:未标注 结构图卡

06 分布式文件系统

8 张卡片
  1. 文件级别与块级别分布式文件系统的设计演进 理解等级:未标注 结构图卡
  2. HDFS主从架构与NameNode高可用切换机制 理解等级:未标注 结构图卡
  3. HDFS三副本放置策略:机架感知的可靠性与性能权衡 理解等级:未标注 结构图卡
  4. HDFS的DataNode故障重构与数据块校验码检测 理解等级:未标注 普通读书笔记卡
  5. HDFS分层存储:异构存储介质与集中式缓存管理 理解等级:未标注 结构图卡
  6. 客户端分块后经DataNode流水线写入 理解等级:中级 普通读书笔记卡
  7. 按任务选择HDFS访问层 理解等级:中级 普通读书笔记卡
  8. DistCp按文件并行复制数据 理解等级:初级 普通读书笔记卡

07 分布式结构化存储系统

12 张卡片
  1. HBase的多维有序映射模型与"列簇式而非列式"辨析 理解等级:未标注 结构图卡
  2. HBase借ZooKeeper实现Master无状态解耦 理解等级:未标注 结构图卡
  3. HBase的WAL+MemStore写路径:把随机写转化为顺序写 理解等级:未标注 结构图卡
  4. HBase Region定位的三级跳转与客户端缓存 理解等级:未标注 结构图卡
  5. 社交关系数据建模三次迭代:rowkey设计的正反向查询权衡 理解等级:未标注 结构图卡
  6. OpenTSDB时间序列建模四次迭代:避免热点与压缩存储 理解等级:未标注 结构图卡
  7. HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟 理解等级:未标注 普通读书笔记卡
  8. 重复键前缀会放大HBase存储 理解等级:中级 普通读书笔记卡
  9. Phoenix把SQL映射为HBase扫描 理解等级:中级 普通读书笔记卡
  10. Region是HBase并行计算的切分单位 理解等级:中级 普通读书笔记卡
  11. 时间序列样本的四项属性 理解等级:初级 普通读书笔记卡
  12. 结构化存储的扩展事务容错权衡 理解等级:高级 普通读书笔记卡

08 分布式协调服务ZooKeeper

8 张卡片
  1. 双Master架构的核心难题:leader选举与脑裂防止 理解等级:未标注 普通读书笔记卡
  2. ZooKeeper的znode四种类型与Watcher一次性触发机制 理解等级:未标注 结构图卡
  3. ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色 理解等级:未标注 结构图卡
  4. 基于ZooKeeper的leader选举实现模式 理解等级:未标注 结构图卡
  5. 基于ZooKeeper的服务发现与负载均衡模式 理解等级:未标注 普通读书笔记卡
  6. 版本号限制znode覆盖写 理解等级:中级 普通读书笔记卡
  7. Curator封装重试与协调配方 理解等级:中级 普通读书笔记卡
  8. 配置变更通知后须重取并重监听 理解等级:中级 普通读书笔记卡

09 资源管理与调度系统YARN

10 张卡片
  1. MRv1的四大局限与"资源管理/作业控制"解耦 理解等级:未标注 结构图卡
  2. YARN四大组件的职责边界与Container抽象 理解等级:未标注 结构图卡
  3. YARN应用运行的两阶段八步工作流程 理解等级:未标注 结构图卡
  4. YARN高可用三层设计与ZooKeeper脑裂防护 理解等级:未标注 结构图卡
  5. 层级队列的弹性共享与资源抢占:一体两面的设计 理解等级:未标注 结构图卡
  6. Capacity Scheduler与Fair Scheduler的设计取舍 理解等级:未标注 普通读书笔记卡
  7. 基于标签的调度:用逻辑标签划分异构集群 理解等级:未标注 普通读书笔记卡
  8. YARN内存与CPU资源隔离方案的不同选择 理解等级:未标注 普通读书笔记卡
  9. Mesos的双层调度与三个"信任但验证"机制 理解等级:未标注 结构图卡
  10. 资源管理系统架构三代演化:集中式→双层→共享状态 理解等级:未标注 结构图卡

10 批处理引擎MapReduce

14 张卡片
  1. MapReduce的分而治之编程模型与五步骤抽象 理解等级:未标注 结构图卡
  2. MapReduce五大可编程组件的职责划分 理解等级:未标注 结构图卡
  3. "接口改抽象类":一种向后兼容的API演化策略 理解等级:未标注 普通读书笔记卡
  4. Map Task结果落本地磁盘:两个反直觉的设计问题 理解等级:未标注 普通读书笔记卡
  5. MapTask与ReduceTask的十阶段执行流程 理解等级:未标注 结构图卡
  6. 数据本地性的三级调度与延迟调度策略 理解等级:未标注 结构图卡
  7. 推测执行:用"赛马"机制对冲慢任务拖后腿的风险 理解等级:未标注 普通读书笔记卡
  8. MapReduce能解决与不能解决问题的边界:子问题独立性判据 理解等级:未标注 普通读书笔记卡
  9. 排序去重避免内存集合 理解等级:中级 普通读书笔记卡
  10. 压缩可切分性决定Map并行度 理解等级:中级 普通读书笔记卡
  11. 只读依赖随任务本地缓存 理解等级:中级 普通读书笔记卡
  12. 标准流桥接非Java任务 理解等级:中级 普通读书笔记卡
  13. 倒排索引从词反查文档 理解等级:中级 普通读书笔记卡
  14. 单作业分流异构输入输出 理解等级:中级 普通读书笔记卡

11 DAG计算引擎Spark

10 张卡片
  1. MapReduce的四大局限与Spark的针对性设计 理解等级:未标注 结构图卡
  2. RDD的"弹性"含义与血统(lineage)容错机制 理解等级:未标注 结构图卡
  3. transformation与action的惰性执行分工 理解等级:未标注 结构图卡
  4. Spark作业三阶段生命周期与Application-Job-Stage-Task层级关系 理解等级:未标注 结构图卡
  5. Spark Shuffle:从哈希实现到排序实现的扩展性改进 理解等级:未标注 结构图卡
  6. RDD持久化三种机制的对比:cache/persist与checkpoint 理解等级:未标注 普通读书笔记卡
  7. DataFrame/Dataset为何在RDD之上再造一层抽象 理解等级:未标注 普通读书笔记卡
  8. Standalone与YARN模式下Driver和Executor的容错差异 理解等级:未标注 结构图卡
  9. 广播与累加器的共享边界 理解等级:中级 普通读书笔记卡
  10. 视图与持久表的生命周期 理解等级:中级 普通读书笔记卡

12 交互式计算引擎

5 张卡片
  1. ROLAP/MOLAP/HOLAP:三种OLAP实现的实时性与查询效率权衡 理解等级:未标注 结构图卡
  2. Impala对等式架构:如何解决MPP集群的元数据同步难题 理解等级:未标注 结构图卡
  3. Impala两阶段查询计划与两种分布式Join策略 理解等级:未标注 结构图卡
  4. Presto的Master-Slave架构与"只借用一半生态"的插件化设计 理解等级:未标注 结构图卡
  5. MOLAP的"空间换时间":Druid与Kylin两种实现路径 理解等级:未标注 结构图卡

13 流式实时计算引擎

9 张卡片
  1. 传统"消息队列+工作进程"方案的三缺陷与流式引擎的两种路线 理解等级:未标注 结构图卡
  2. Storm的Topology-Spout-Bolt编程模型与Stream Grouping 理解等级:未标注 结构图卡
  3. Storm借ZooKeeper实现Nimbus无状态解耦 理解等级:未标注 普通读书笔记卡
  4. Storm acker框架:用异或校验值追踪消息完整处理 理解等级:未标注 结构图卡
  5. Spark Streaming的DStream微批抽象与Kafka两种读取方式 理解等级:未标注 结构图卡
  6. Spark Streaming两种状态恢复机制的权衡:checkpoint与offset management 理解等级:未标注 普通读书笔记卡
  7. Storm与Spark Streaming的一致性语义与吞吐延迟对比 理解等级:未标注 结构图卡
  8. 流式数据线的四阶段与缓冲解耦 理解等级:初级 普通读书笔记卡
  9. Storm 的 Worker、Executor 与 Task 三层并发 理解等级:中级 普通读书笔记卡

14 数据分析语言HQL与SQL

7 张卡片
  1. SQL on Hadoop两种架构范式:基于计算引擎 vs 基于MPP架构 理解等级:未标注 结构图卡
  2. Hive Metastore三种部署模式与"一份数据多种引擎"的元数据标准化 理解等级:未标注 结构图卡
  3. Spark SQL四层架构与Catalyst查询优化器 理解等级:未标注 结构图卡
  4. Hive分区表与分桶表:两种不同的数据划分优化粒度 理解等级:未标注 结构图卡
  5. ORDER BY全局排序与DISTRIBUTE BY+SORT BY分区排序的底层差异 理解等级:未标注 结构图卡
  6. Hive 更换 DAG 执行引擎可减少中间结果落盘 理解等级:中级 普通读书笔记卡
  7. Hive 表类型与数据删除边界 理解等级:初级 普通读书笔记卡

15 大数据统一编程模型

7 张卡片
  1. 统一编程模型的存在理由:计算引擎迁移成本 理解等级:未标注 普通读书笔记卡
  2. Beam四大核心抽象与Runner的引擎解耦机制 理解等级:未标注 结构图卡
  3. Beam的三种时间窗口划分方式:固定/滑动/会话 理解等级:未标注 结构图卡
  4. watermark与trigger:在数据完整性和延迟之间的分工 理解等级:未标注 结构图卡
  5. accumulation三种模式:定义同一窗口多次计算结果之间的关系 理解等级:未标注 结构图卡
  6. Beam Combine 用可合并累加器计算聚合 理解等级:中级 普通读书笔记卡
  7. Beam 的侧输入广播与侧输出分流 理解等级:中级 普通读书笔记卡

16 大数据机器学习库

2 张卡片
  1. MLLib从RDD API迁移到DataFrame API的三大动机 理解等级:未标注 结构图卡
  2. MLLib的Pipeline三概念:Transformer/Estimator与无状态设计 理解等级:未标注 结构图卡

全书概览

大数据技术体系详解:原理、架构与实践

Skill 版本:v7

作者:董西成

整体评级

四象限结论:工程实践(高信息浓度 + 低稳定性)

评级理由:

全书按照”数据生命周期”组织成数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析五层技术架构(第1章进一步细化出数据可视化层,共六层),每一层内部都在讲设计动机和架构取舍:第1章用Lambda Architecture解释批处理层(侧重完整结果与吞吐)与流式处理层(侧重低延迟)如何通过服务层结合、互补短板;第6章HDFS的block/副本/NameNode-DataNode主从架构直接对应”在廉价机器上做到高容错”这个约束条件下的设计选择;第8章ZooKeeper用ZAB协议、watch机制、临时节点解决leader选举/分布式锁等通用协调问题;第9章YARN把资源管理从”一种应用一个集群”演化到”共享集群+资源隔离”背后有明确的资源利用率/运维成本权衡;第11章Spark的RDD/DAG模型、第14章Hive Metastore的三种部署模式与”一份数据多种引擎”的元数据标准化思路、第15章Apache Beam试图用统一编程模型抹平批处理与流处理的编程差异,这些内容讲的都是”为什么这样设计”而非单纯”怎么操作”,信息浓度较高。

但稳定性偏低:全书内容严重绑定2018年前后的Hadoop/Spark开源生态特定版本与工具选型——Sqoop/Flume/Kafka/HBase/Kudu/YARN/MapReduce/Spark/Hive/Storm/Spark Streaming/MLLib等具体系统的架构描述、部署模式、API示例和对比表格,都是这一时期开源大数据栈的技术快照。此后,Spark Streaming的DStream API已被Structured Streaming取代、Flink成为流批一体的主流引擎、Kudu/HBase生态地位下降、YARN在云原生场景下逐步让位于Kubernetes、Hive/MapReduce的性能对比结论也已过时——书中很多”目前应用最广泛”“典型代表”式的判断已不再准确,因此归为工程实践(高浓度,但明显绑定特定时代工具栈)而非经典原理。

类别:分布式系统类(命中category-checklists.md已定义类别,判定依据:全书围绕分布式存储、分布式计算引擎、分布式协调与资源调度等分布式系统核心问题展开)

内容形态:概念解析型(默认,不特别声明)

2026-09-29 按当前 book-workflow 恢复并完成逐单元回读:原书与活动解包已核验;前言和第 1–16 章的完成记录、候选去向见 _coverage.md。卡片质量以 _card_review.md 的最终复核为准。

章节进度

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
前言 为什么要写这本书 逐段重读:目的、读者与章节预告,无独立于正文的机制 done 0
第1章 企业级大数据技术体系概述 逐页回读:六层技术体系、Google技术栈映射、Lambda Architecture、定义与部署选型 done 5
第2章 关系型数据的收集 逐页回读:双向迁移、并行分片、服务端管理、回灌更新键、CDC 与异地同步 done 6
第3章 非关系型数据的收集 逐页回读:采集断点、Channel 介质、事务性交接及合并与复用拓扑 done 7
第4章 分布式消息队列Kafka 逐页回读:消息解耦、历史重读、副本、消费组、进度提交和分区并行度 done 10
第5章 数据序列化与文件存储格式 逐页回读:序列化、Schema 演化、行列式存储与文件格式取舍 done 5
第6章 分布式文件系统 逐页回读:块、副本、主从架构、客户端写入及访问层次 done 8
第7章 分布式结构化存储系统 逐页回读:存储选型、HBase 模型与读写、Row Key 建模、OpenTSDB、Kudu done 12
第8章 分布式协调服务ZooKeeper 逐页回读:会话、ZAB、版本写入、选举、Watcher 和 Curator done 8
第9章 资源管理与调度系统YARN 逐页回读:四组件、调度器、资源隔离、Mesos 与架构演化;旧卡 5 张按正文收紧表述 done 10
第10章 批处理引擎MapReduce 逐页回读:编程模型、输入输出、排序去重、压缩切分、Streaming、任务流程与适用边界 done 14
第11章 DAG计算引擎Spark 逐页回读:RDD、共享变量、运行模式、Shuffle、Dataset 与 SQL;版本性示例留待审查 done 10
第12章 交互式计算引擎 逐页回读:ROLAP 的 Impala/Presto、Druid/Kylin 路径与适用边界;6/6 单元完成 done 5
第13章 流式实时计算引擎 逐页回读:Storm、DStream、Kafka 接入、恢复与一致性;7/7 单元完成 done 9
第14章 数据分析语言HQL与SQL 逐页回读:Hive/Spark SQL 架构、HQL 表类型、分区分桶及排序;7/7 单元完成 done 7
第15章 大数据统一编程模型 逐页回读:Beam 抽象、Transform、窗口、迟到数据与示例;8/8 单元完成 done 7
第16章 大数据机器学习库 逐页回读:RDD 到 DataFrame、Pipeline 阶段与算法目录;5/5 单元完成 done 2

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 Kafka用KRaft取代ZooKeeper的架构变迁验证 证据验证 done 第4/8章 Kafka ZooKeeper→KRaft演进对照笔记
2 Structured Streaming取代DStream微批架构的验证 证据验证 done 第13章 DStream→Structured Streaming演进对照笔记
3 Paxos/ZAB/Raft三种一致性协议横向对照 横向学习 done 第7/8/9章 六维度协议对照表

未采用候选:各章旧版部署/参数配置、无答案编程习题及重复搭建整套大数据集群,依赖特定环境且不能比上述证据验证与横向学习更有效地回答当前设计问题;实践卡仅交付计划,未执行其中的现实行动。

待关联术语

术语名 出现章节 一句话语境
CDH(Cloudera)/HDP(Hortonworks)/Databricks Spark发行版 第一章 提及主流商业发行版名称及选型建议(避免组件间版本兼容性问题),未展开各发行版具体差异实现细节
Ambari/Cloudera Manager 第一章 提及自动化部署工具名称,未展开具体部署操作
Tez/Pig/Cascading 第一章 提及作为MapReduce之上的DAG引擎/工作流引擎/数据流封装API,未展开各自架构细节
ZeroMQ/RabbitMQ/AMQP协议 第四章 提及作为Kafka的对比对象(Kafka不遵循AMQP协议),未展开这些系统自身架构
Logstash/ELK技术栈 第四章 提及作为可与Kafka组合使用的日志收集组件,未展开ELK具体架构
LinkedIn Camus 第四章 提及作为Kafka数据导入Hadoop的开源连接件,未展开具体实现
Apache Phoenix 第七章 提及作为SQL On HBase的实现方案(将SQL转化为HBase scan操作),未展开其查询优化引擎与Coprocessor集成细节
Apache Curator 第八章 提及作为Netflix开源的ZooKeeper高层客户端(封装leader选举/共享锁/分布式队列等Recipes),未展开其Framework重连与Fluent API实现细节
Apache Slider/Apache Twill 第九章 提及作为帮助现有服务(Storm/HBase)零改造部署到YARN上的项目,未展开具体实现
Giraph/OpenMPI在YARN上运行 第九章 提及作为尝试迁移到YARN生态的图计算库与高性能并行接口,未展开具体进展
Nutch/NDFS的历史渊源 第十章 提及Hadoop起源于Nutch搜索引擎项目及其分布式文件系统NDFS,未展开Nutch项目具体实现
Hadoop Streaming(非Java语言编写Mapper/Reducer) 第十章 提及通过标准输入输出管道机制支持C++/Shell等语言编写MapReduce程序,属操作细节,未生成独立卡片
压缩算法可分解性(LZO/Bzip2 vs Gzip/Snappy) 第十章 提及块级可分解压缩与文件级压缩的对比,属工具选型细节,未展开完整对比表
Spark Streaming/MLLib/GraphX 第十一章 提及作为Spark生态系统的流式计算/机器学习/图计算组件,Spark Streaming与MLLib将分别在第13章、第16章展开,GraphX未展开架构细节
Spark on Mesos运行模式 第十一章 提及与Spark on YARN流程类似,未展开Mesos特有细节
tungsten-sort Shuffle实现 第十一章 提及作为Spark第三种Shuffle实现(引入内存自管理),书中标注截至出版时仅为beta版,未展开具体设计
Google Dremel论文 第十二章 提及作为Impala/Presto设计灵感的原始出处(MPP架构+嵌套数据列存储),核心思想已并入Impala/Presto相关卡片,未展开论文完整技术细节
Kylin的Calcite查询引擎框架 第十二章 提及作为Kylin用于SQL解析的开源框架,未展开Calcite自身架构
Storm window函数/mapWithState状态管理API 第十三章 提及作为Spark Streaming处理时间窗口聚合与短生命周期状态维护的编程接口,属API使用细节,未生成独立卡片
Storm支持Thrift多语言编程 第十三章 提及Storm借助Thrift支持Java/Python/C++/PHP等多语言开发,未展开具体实现
HPL/SQL项目 第十四章 提及作为Hive/Spark SQL/Impala实现存储过程的开源项目,未展开具体实现
Hive数据类型系统(array/map/struct/union) 第十四章 提及Hive支持的高级数据类型,属语法细节,未生成独立卡片
Cascading/Apache Crunch 第十五章 提及作为仅统一批处理计算引擎的编程模型(区别于Beam统一批流两种),未展开各自架构细节
Beam Transform算子(ParDo/GroupByKey/Combine/Partition/Flatten/Join) 第十五章 提及Beam提供的具体数据处理算子及API用法,属编程接口细节,核心统一编程模型思想已并入相关卡片,未逐个生卡
scio(Beam的Scala API) 第十五章 提及作为Spotify开源的Beam Scala封装,未展开具体实现
Scikit-learn/Apache Mahout/FlinkML 第十六章 提及作为单机(Scikit-learn)与分布式(Mahout构建于MapReduce后迁移Spark/Flink,FlinkML)机器学习库的代表,Mahout 2014年后停止接受MapReduce实现转向Spark/Flink,未展开各自算法实现细节
MLLib特征工程与分类/回归/聚类算法列表(TF-IDF/Word2Vec/ALS协同过滤等) 第十六章 提及具体算法名称与用途,属工具书式罗列,未逐个生卡

引用文献

标题 类型 出现章节 一句话语境
《Paxos Made Simple》(Leslie Lamport) 论文 第八章 提及作为多master选举的经典一致性协议出处,书中仅提及ZAB是”简化版Paxos”,未展开Paxos完整证明过程
《Omega: flexible, scalable schedulers for large compute clusters》(Google) 论文 第九章 核心的”三代资源调度架构演化”框架已提炼入相关卡片,论文中Omega实现细节(冲突次数实测数据等)未展开
Google Borg论文、腾讯Torca 案例 第九章 提及作为YARN之外的同类资源管理系统,未展开各自架构细节
《MapReduce: Simplified Data Processing on Large Clusters》(Jeffrey Dean & Sanjay Ghemawat,2004) 论文 第十章 提及作为MapReduce设计思想的原始出处,核心分而治之思想已并入相关卡片,未展开论文完整实验数据
《Spark: Cluster Computing with Working Sets》(Matei Zaharia等,2010) 论文 第十一章 提及作为Spark(UC Berkeley AMP实验室2009年发起)的原始论文出处,核心RDD设计思想已并入相关卡片,未展开论文完整实验数据

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

类别清单核对(分布式系统类)

维度 覆盖状态 关联卡片标题或未覆盖理由
一致性模型(强一致性/最终一致性/因果一致性的定义与取舍) 部分覆盖 [[Lambda Architecture:批处理层+流式处理层+服务层的互补设计]]提及服务层”只需要最终一致”,[[ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色]]提及”多数派强一致,非多数节点可能滞后需sync同步”这一强一致性行为;但全书未正式定义或对比”强一致性/最终一致性/因果一致性”三种模型,”因果一致性”这一术语全书未出现,经关键词检索确认(”最终一致性”仅出现1次,”强一致性/因果一致性/一致性哈希”均0次),非漏判
共识算法(Paxos/Raft如何达成节点间一致) 已覆盖 [[ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色]]、[[HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟]]、[[双Master架构的核心难题:leader选举与脑裂防止]](提及Paxos作为理论基础);实践点子卡[[Paxos/ZAB/Raft三种一致性协议横向对照]]进一步补充了三者的横向比较
容错假设(故障模型:崩溃/拜占庭,系统能容忍什么样的故障) 未覆盖 全书容错设计均针对崩溃故障(fail-stop,如DataNode宕机、Broker故障)及静默数据损坏(如HDFS校验码),经关键词检索确认”拜占庭/Byzantine”全书0次出现;本书是工程实现导向的Hadoop生态书籍,未涉及拜占庭容错这一更偏理论/联盟链场景的话题,非漏判
时钟与顺序问题(物理时钟/逻辑时钟/向量时钟的作用) 未覆盖 经关键词检索确认”逻辑时钟/向量时钟/Lamport clock”全书0次出现(仅”Lamport”作为Paxos论文作者出现);[[Beam的三种时间窗口划分方式:固定/滑动/会话]]与[[watermark与trigger:在数据完整性和延迟之间的分工]]涉及event time/process time,但这是”数据自带时间戳”概念,不是用于判定并发事件因果顺序的逻辑/向量时钟机制,两者不可等同,故仍判定未覆盖,非漏判
分区处理策略(网络分区下系统如何取舍,CAP权衡) 未覆盖 经关键词检索确认”CAP定理”全书未被实质讨论(唯一”CAP”字符串匹配为HQL语法中”ESCAPED”子串误命中);书中虽有ZooKeeper/HDFS/YARN等系统的高可用设计,但均未用CAP框架正面讨论”网络分区下选一致性还是选可用性”这一权衡,非漏判
复制与数据分布(数据分片/复制,一致性哈希等) 已覆盖 [[HDFS三副本放置策略:机架感知的可靠性与性能权衡]]、[[Kafka的Topic-Partition-Offset模型与分区内有序边界]]、[[HBase Region定位的三级跳转与客户端缓存]]、[[HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟]]等多张卡片覆盖数据分片与副本策略;书中采用hash取模而非一致性哈希(如Kafka Partitioner、Hive分桶),该差异已在相关卡片中说明
幂等与重试设计(分布式调用失败后的恢复机制) 已覆盖 [[Storm acker框架:用异或校验值追踪消息完整处理]]、[[消息传递语义三分类及其实现手段]]、[[Storm与Spark Streaming的一致性语义与吞吐延迟对比]](幂等+at least once逼近exactly once)

主题索引维护

以下逐卡结论以当前 125 张稳定知识卡为范围;“待复核”不代表已加入主题。

卡片文件 当前标题 结论 主题或理由
ch01-001-大数据六层技术体系分层架构 大数据六层技术体系分层架构 无需加入 六层技术总览跨多个现有主题,暂无单一匹配索引
ch01-002-LambdaArchitecture批流服务三层设计 Lambda Architecture:批处理层+流式处理层+服务层的互补设计 已复用 [[Lambda架构与数据系统分层]](notes/_topics/lambda-architecture.md)
ch01-003-Google技术论文与开源大数据生态的思想传承关系 Google技术论文与开源大数据生态的思想传承关系 无需加入 生态论文关系是书籍背景,现有主题不收此类谱系
ch01-004-大数据四特征约束处理链 大数据四特征约束处理链 无需加入 四特征总览与现有专门主题粒度不符
ch01-005-集群选型兼顾组件兼容与部署规模 集群选型兼顾组件兼容与部署规模 无需加入 集群采购与部署规模选择不在现有主题范围
ch02-001-CDC四种增量数据捕获方案的权衡 CDC四种增量数据捕获方案的权衡 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch02-002-业务库与分析平台双向搬运数据 业务库与分析平台双向搬运数据 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch02-003-Sqoop用分片并行搬运关系数据 Sqoop用分片并行搬运关系数据 无需加入 Sqoop分片搬运细节不宜混入跨系统数据流主题
ch02-004-Sqoop2把连接器与作业管理集中到服务端 Sqoop2把连接器与作业管理集中到服务端 无需加入 Sqoop2服务端管理属于产品版本实现细节
ch02-005-跨机房同步分离抽取与落库阶段 跨机房同步分离抽取与落库阶段 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch02-006-分析结果回灌要定义更新键 分析结果回灌要定义更新键 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch03-001-Flume的Source-Channel-Sink解耦管道模式 Flume的Source-Channel-Sink解耦管道模式 已复用 [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md)
ch03-002-采集源需要保存读取断点 采集源需要保存读取断点 无需加入 采集断点细节不等同现有背压或数据流主题
ch03-003-Channel介质决定缓冲故障边界 Channel介质决定缓冲故障边界 已复用 [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md)
ch03-004-Event须在下一跳接收后移除 Event须在下一跳接收后移除 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch03-005-两层汇聚减少存储写入压力 两层汇聚减少存储写入压力 已复用 [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md)
ch03-006-按事件级别选择性复制日志 按事件级别选择性复制日志 已复用 [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md)
ch03-007-Source与Sink连接Channel的基数不同 Source与Sink连接Channel的基数不同 无需加入 连接Channel的基数是Flume局部接口约束
ch04-001-消息队列解耦价值与Kafka的push-pull架构选择 消息队列的解耦价值与Kafka的push-pull架构选择 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch04-002-Kafka的Topic-Partition-Offset模型与分区内有序边界 Kafka的Topic-Partition-Offset模型与分区内有序边界 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch04-003-Kafka-acks可控可靠性级别的三档权衡 Kafka acks:可控可靠性级别的三档权衡 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch04-004-消息传递语义三分类及其实现手段 消息传递语义三分类及其实现手段 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch04-005-顺序写与zero-copy两个IO层面优化 顺序写与zero-copy:两个磁盘/网络IO层面的优化 无需加入 顺序写与zero-copy是IO实现优化,非当前数据流主题范围
ch04-006-消息保留使消费者可以重读 消息保留使消费者可以重读 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch04-007-消费者组分摊分区读取负载 消费者组分摊分区读取负载 无需加入 消费者组分摊分区负载是Kafka局部调度细节
ch04-008-分区副本由Leader统一对外读写 分区副本由Leader统一对外读写 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch04-009-提交消费进度的时机决定丢失或重复 消费进度提交的丢失重复权衡 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch04-010-消费者并行度受分区数量限制 消费者并行度受分区数量限制 无需加入 分区数限制并行度是Kafka局部容量约束
ch05-001-序列化技术演化四阶段与Schema演化三情形 序列化技术演化四阶段与Schema演化的三种兼容性场景 已复用 [[数据交换格式设计]](notes/_topics/data-interchange-formats.md)
ch05-002-Thrift-Protobuf-Avro三大序列化框架的设计取舍 Thrift/Protobuf/Avro三大序列化框架的设计取舍 已复用 [[数据交换格式设计]](notes/_topics/data-interchange-formats.md)
ch05-003-行式存储与列式存储的读写权衡 行式存储与列式存储的读写权衡 已复用 [[存储模型选型]](notes/_topics/storage-model-choices.md)
ch05-004-SequenceFile三种压缩粒度的取舍 Sequence File三种压缩粒度的取舍 无需加入 Sequence File压缩粒度是特定格式细节,现有主题不收
ch05-005-ORC-Parquet-CarbonData三种列存储格式的设计特色对比 ORC/Parquet/CarbonData三种列存储格式的设计特色对比 已复用 [[存储模型选型]](notes/_topics/storage-model-choices.md)
ch06-001-文件级别与块级别分布式文件系统的设计演进 文件级别与块级别分布式文件系统的设计演进 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch06-002-HDFS主从架构与NameNode高可用切换机制 HDFS主从架构与NameNode高可用切换机制 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch06-003-HDFS三副本放置策略的机架感知权衡 HDFS三副本放置策略:机架感知的可靠性与性能权衡 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch06-004-HDFS的DataNode故障重构与数据块校验码检测 HDFS的DataNode故障重构与数据块校验码检测 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch06-005-HDFS分层存储与集中式缓存管理 HDFS分层存储:异构存储介质与集中式缓存管理 已复用 [[软件定义存储数据服务]](notes/_topics/software-defined-storage-services.md)
ch06-006-客户端分块后经DataNode流水线写入 客户端分块后经DataNode流水线写入 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch06-007-按任务选择HDFS访问层 按任务选择HDFS访问层 无需加入 HDFS访问接口分层是工具选择细节
ch06-008-DistCp按文件并行复制数据 DistCp按文件并行复制数据 无需加入 DistCp并行复制是特定工具用法
ch07-001-HBase多维有序映射模型与列簇式存储辨析 HBase的多维有序映射模型与”列簇式而非列式”辨析 已复用 [[存储模型选型]](notes/_topics/storage-model-choices.md)
ch07-002-HBase借ZooKeeper实现Master无状态解耦 HBase借ZooKeeper实现Master无状态解耦 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch07-003-HBase的WAL加MemStore写路径将随机写转为顺序写 HBase的WAL+MemStore写路径:把随机写转化为顺序写 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch07-004-HBase-Region定位的三级跳转与客户端缓存 HBase Region定位的三级跳转与客户端缓存 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch07-005-社交关系数据建模三次迭代rowkey设计权衡 社交关系数据建模三次迭代:rowkey设计的正反向查询权衡 已复用 [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md)
ch07-006-OpenTSDB时间序列建模四次迭代避免热点 OpenTSDB时间序列建模四次迭代:避免热点与压缩存储 已复用 [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md)
ch07-007-HBase与Kudu的定位分野及Kudu用Raft统一批流场景 HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟 已复用 [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md)
ch07-008-重复键前缀会放大HBase存储 重复键前缀会放大HBase存储 无需加入 重复前缀放大属于HBase物理编码细节
ch07-009-Phoenix把SQL映射为HBase扫描 Phoenix把SQL映射为HBase扫描 无需加入 Phoenix查询映射是特定产品接口细节
ch07-010-Region是HBase并行计算的切分单位 Region是HBase并行计算的切分单位 已复用 [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md)
ch07-011-时间序列样本由指标标签时间和值组成 时间序列样本的四项属性 无需加入 时间序列样本属性是定义性说明,现有主题无匹配
ch07-012-海量结构化存储权衡扩展事务与容错 结构化存储的扩展事务容错权衡 已复用 [[存储模型选型]](notes/_topics/storage-model-choices.md)
ch08-001-双Master架构的核心难题引出协调服务的必要性 双Master架构的核心难题:leader选举与脑裂防止 已复用 [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md)
ch08-002-ZooKeeper的znode四种类型与Watcher一次性触发 ZooKeeper的znode四种类型与Watcher一次性触发机制 无需加入 znode类型与Watcher回调是ZooKeeper API细节
ch08-003-ZAB读写路径奇数部署与Observer角色 ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色 已复用 [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md)
ch08-004-基于ZooKeeper的leader选举实现模式 基于ZooKeeper的leader选举实现模式 已复用 [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md)
ch08-005-基于ZooKeeper的服务发现与负载均衡模式 基于ZooKeeper的服务发现与负载均衡模式 无需加入 服务发现不等于现有共识主题
ch08-006-版本号限制znode覆盖写 版本号限制znode覆盖写 无需加入 znode版本条件写是接口并发控制细节
ch08-007-Curator封装重试与协调配方 Curator封装重试与协调配方 无需加入 Curator重试封装是客户端库细节
ch08-008-配置变更通知后须重取并重监听 配置变更通知后须重取并重监听 无需加入 配置通知与重取是Watcher使用细节
ch09-001-MRv1四大局限与资源管理和作业控制解耦 MRv1的四大局限与”资源管理/作业控制”解耦 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-002-YARN四大组件的职责边界与Container抽象 YARN四大组件的职责边界与Container抽象 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-003-YARN应用运行的两阶段八步工作流程 YARN应用运行的两阶段八步工作流程 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-004-YARN高可用三层设计与脑裂防护 YARN高可用三层设计与ZooKeeper脑裂防护 已复用 [[高可用与异地多活架构]](notes/_topics/high-availability-architecture.md)
ch09-005-层级队列弹性共享与资源抢占的一体两面 层级队列的弹性共享与资源抢占:一体两面的设计 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-006-CapacityScheduler与FairScheduler的设计取舍 Capacity Scheduler与Fair Scheduler的设计取舍 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-007-基于标签的调度用逻辑标签划分异构集群 基于标签的调度:用逻辑标签划分异构集群 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-008-YARN内存与CPU资源隔离方案的不同选择 YARN内存与CPU资源隔离方案的不同选择 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-009-Mesos的双层调度与三个信任机制 Mesos的双层调度与三个”信任但验证”机制 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch09-010-资源管理系统架构三代演化 资源管理系统架构三代演化:集中式→双层→共享状态 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch10-001-MapReduce分而治之编程模型与五步骤抽象 MapReduce的分而治之编程模型与五步骤抽象 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-002-MapReduce五大可编程组件的职责划分 MapReduce五大可编程组件的职责划分 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-003-接口改抽象类的向后兼容API设计 “接口改抽象类”:一种向后兼容的API演化策略 无需加入 抽象类替换接口是API兼容策略,现有大数据计算主题不收
ch10-004-MapTask结果落本地磁盘的两个设计问题 Map Task结果落本地磁盘:两个反直觉的设计问题 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-005-MapTask与ReduceTask的十阶段执行流程 MapTask与ReduceTask的十阶段执行流程 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-006-数据本地性三级调度与延迟调度策略 数据本地性的三级调度与延迟调度策略 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch10-007-推测执行用赛马机制对冲慢任务风险 推测执行:用”赛马”机制对冲慢任务拖后腿的风险 已复用 [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md)
ch10-008-MapReduce能解决与不能解决问题的边界 MapReduce能解决与不能解决问题的边界:子问题独立性判据 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-009-排序去重避免内存集合 排序去重避免内存集合 无需加入 排序去重的局部算法技巧不属现有范式主题
ch10-010-压缩可切分性决定Map并行度 压缩可切分性决定Map并行度 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch10-011-只读依赖随任务本地缓存 只读依赖随任务本地缓存 无需加入 任务依赖缓存是分发实现细节
ch10-012-标准流桥接非Java任务 标准流桥接非Java任务 无需加入 标准流桥接非Java任务是接口实现细节
ch10-013-倒排索引从词反查文档 倒排索引从词反查文档 已复用 [[倒排索引与查询处理]](notes/_topics/inverted-index-query.md)
ch10-014-单作业分流异构输入输出 单作业分流异构输入输出 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch11-001-MapReduce四大局限与Spark的针对性设计 MapReduce的四大局限与Spark的针对性设计 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch11-002-RDD的弹性含义与血统容错机制 RDD的”弹性”含义与血统(lineage)容错机制 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-003-transformation与action的惰性执行分工 transformation与action的惰性执行分工 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-004-Spark作业三阶段生命周期与层级关系 Spark作业三阶段生命周期与Application-Job-Stage-Task层级关系 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-005-Spark-Shuffle从哈希实现到排序实现的扩展性改进 Spark Shuffle:从哈希实现到排序实现的扩展性改进 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-006-RDD持久化三种机制的对比 RDD持久化三种机制的对比:cache/persist与checkpoint 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-007-DataFrame-Dataset为何在RDD之上再造一层抽象 DataFrame/Dataset为何在RDD之上再造一层抽象 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-008-Standalone与YARN模式下Driver和Executor的容错差异 Standalone与YARN模式下Driver和Executor的容错差异 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-009-广播与累加器的共享边界 广播与累加器的共享边界 已复用 [[Spark内核执行机制]](notes/_topics/spark-core-internals.md)
ch11-010-视图与持久表的生命周期 视图与持久表的生命周期 无需加入 视图与表生命周期是SQL对象管理问题,Spark内核主题不收
ch12-001-ROLAP-MOLAP-HOLAP三种OLAP实现的权衡 ROLAP/MOLAP/HOLAP:三种OLAP实现的实时性与查询效率权衡 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch12-002-Impala对等式架构与MPP节点元数据同步 Impala对等式架构:如何解决MPP集群的元数据同步难题 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch12-003-Impala两阶段查询计划与两种分布式Join策略 Impala两阶段查询计划与两种分布式Join策略 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch12-004-Presto的Master-Slave架构与插件化Connector设计 Presto的Master-Slave架构与”只借用一半生态”的插件化设计 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch12-005-MOLAP空间换时间与Druid-Kylin两种实现路径 MOLAP的”空间换时间”:Druid与Kylin两种实现路径 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-001-传统消息队列方案三缺陷与流式引擎的分类 传统”消息队列+工作进程”方案的三缺陷与流式引擎的两种路线 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-002-Storm的Topology-Spout-Bolt编程模型与StreamGrouping Storm的Topology-Spout-Bolt编程模型与Stream Grouping 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-003-Storm借ZooKeeper实现Nimbus无状态解耦 Storm借ZooKeeper实现Nimbus无状态解耦 已复用 [[高可用与异地多活架构]](notes/_topics/high-availability-architecture.md)
ch13-004-Storm-acker框架用异或校验值追踪消息完整处理 Storm acker框架:用异或校验值追踪消息完整处理 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-005-SparkStreaming的DStream微批抽象与Kafka两种读取方式 Spark Streaming的DStream微批抽象与Kafka两种读取方式 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-006-SparkStreaming两种状态恢复机制的权衡 Spark Streaming两种状态恢复机制的权衡:checkpoint与offset management 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-007-Storm与SparkStreaming的一致性语义与吞吐延迟对比 Storm与Spark Streaming的一致性语义与吞吐延迟对比 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch13-008-流式数据线四阶段与缓冲解耦 流式数据线的四阶段与缓冲解耦 已复用 [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md)
ch13-009-Storm-Worker-Executor-Task三层并发 Storm 的 Worker、Executor 与 Task 三层并发 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch14-001-SQL-on-Hadoop两种架构范式的权衡 SQL on Hadoop两种架构范式:基于计算引擎 vs 基于MPP架构 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch14-002-Hive-Metastore三种部署模式与元数据标准化 Hive Metastore三种部署模式与”一份数据多种引擎”的元数据标准化 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch14-003-SparkSQL四层架构与Catalyst查询优化器 Spark SQL四层架构与Catalyst查询优化器 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch14-004-Hive分区表与分桶表的两种优化粒度 Hive分区表与分桶表:两种不同的数据划分优化粒度 已复用 [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md)
ch14-005-ORDER-BY全局排序与DISTRIBUTE-BY分区排序的底层差异 ORDER BY全局排序与DISTRIBUTE BY+SORT BY分区排序的底层差异 无需加入 分区内排序表达式是SQL执行语义细节,范式主题不收
ch14-006-Hive更换DAG执行引擎减少中间结果落盘 Hive 更换 DAG 执行引擎可减少中间结果落盘 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch14-007-Hive表类型决定数据与元数据删除边界 Hive 表类型与数据删除边界 无需加入 Hive表生命周期是对象管理语义,范式主题不收
ch15-001-统一编程模型的存在理由计算引擎迁移成本 统一编程模型的存在理由:计算引擎迁移成本 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-002-Beam四大核心抽象与Runner的引擎解耦 Beam四大核心抽象与Runner的引擎解耦机制 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-003-Beam的三种时间窗口划分方式 Beam的三种时间窗口划分方式:固定/滑动/会话 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-004-watermark与trigger在数据完整性和延迟间的分工 watermark与trigger:在数据完整性和延迟之间的分工 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-005-accumulation三种模式定义结果修正关系 accumulation三种模式:定义同一窗口多次计算结果之间的关系 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-006-Beam-Combine用可合并累加器计算聚合 Beam Combine 用可合并累加器计算聚合 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch15-007-Beam侧输入广播与侧输出分流 Beam 的侧输入广播与侧输出分流 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch16-001-MLLib从RDD-API迁移到DataFrame-API的三大动机 MLLib从RDD API迁移到DataFrame API的三大动机 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)
ch16-002-MLLib的Pipeline三概念与无状态设计 MLLib的Pipeline三概念:Transformer/Estimator与无状态设计 已复用 [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md)

附:EPUB spine 文件映射

章节号 对应文件
前言 OEBPS/text00002.html
第1章 OEBPS/text00004.html - text00011.html
第2章 OEBPS/text00013.html - text00019.html
第3章 OEBPS/text00020.html - text00025.html
第4章 OEBPS/text00026.html - text00032.html
第5章 OEBPS/text00034.html - text00039.html
第6章 OEBPS/text00040.html - text00047.html
第7章 OEBPS/text00048.html - text00056.html
第8章 OEBPS/text00058.html - text00065.html
第9章 OEBPS/text00066.html - text00076.html
第10章 OEBPS/text00078.html - text00085.html
第11章 OEBPS/text00086.html - text00095.html
第12章 OEBPS/text00096.html - text00101.html
第13章 OEBPS/text00102.html - text00108.html
第14章 OEBPS/text00110.html - text00116.html
第15章 OEBPS/text00117.html - text00124.html
第16章 OEBPS/text00125.html - text00129.html

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

查询优化与表达式变换

比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。

99 张卡片 · 21 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

分布式存储实现

把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。

94 张卡片 · 13 本书

主题索引

基础设施即代码与编排

用声明式模板描述资源及其依赖,由编排引擎按依赖图创建、更新与回滚,以及回滚受删除策略和外部副作用约束的边界。

93 张卡片 · 20 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

分布式机器学习训练

比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。

80 张卡片 · 6 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

Spark内核执行机制

Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。

65 张卡片 · 6 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

顺序保证与延时消息

比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。

49 张卡片 · 18 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

软件定义存储数据服务

在通用硬件上用软件实现的存储数据服务:元数据组织、数据本地化、快照与克隆、纠删码与压缩、存储池与容器策略及其容量与性能取舍。

41 张卡片 · 10 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书