主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
3/6
Skill 版本:v7
作者:董西成
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
全书按照”数据生命周期”组织成数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析五层技术架构(第1章进一步细化出数据可视化层,共六层),每一层内部都在讲设计动机和架构取舍:第1章用Lambda Architecture解释批处理层(侧重完整结果与吞吐)与流式处理层(侧重低延迟)如何通过服务层结合、互补短板;第6章HDFS的block/副本/NameNode-DataNode主从架构直接对应”在廉价机器上做到高容错”这个约束条件下的设计选择;第8章ZooKeeper用ZAB协议、watch机制、临时节点解决leader选举/分布式锁等通用协调问题;第9章YARN把资源管理从”一种应用一个集群”演化到”共享集群+资源隔离”背后有明确的资源利用率/运维成本权衡;第11章Spark的RDD/DAG模型、第14章Hive Metastore的三种部署模式与”一份数据多种引擎”的元数据标准化思路、第15章Apache Beam试图用统一编程模型抹平批处理与流处理的编程差异,这些内容讲的都是”为什么这样设计”而非单纯”怎么操作”,信息浓度较高。
但稳定性偏低:全书内容严重绑定2018年前后的Hadoop/Spark开源生态特定版本与工具选型——Sqoop/Flume/Kafka/HBase/Kudu/YARN/MapReduce/Spark/Hive/Storm/Spark Streaming/MLLib等具体系统的架构描述、部署模式、API示例和对比表格,都是这一时期开源大数据栈的技术快照。此后,Spark Streaming的DStream API已被Structured Streaming取代、Flink成为流批一体的主流引擎、Kudu/HBase生态地位下降、YARN在云原生场景下逐步让位于Kubernetes、Hive/MapReduce的性能对比结论也已过时——书中很多”目前应用最广泛”“典型代表”式的判断已不再准确,因此归为工程实践(高浓度,但明显绑定特定时代工具栈)而非经典原理。
类别:分布式系统类(命中category-checklists.md已定义类别,判定依据:全书围绕分布式存储、分布式计算引擎、分布式协调与资源调度等分布式系统核心问题展开)
内容形态:概念解析型(默认,不特别声明)
2026-09-29 按当前 book-workflow 恢复并完成逐单元回读:原书与活动解包已核验;前言和第 1–16 章的完成记录、候选去向见
_coverage.md。卡片质量以_card_review.md的最终复核为准。
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|
| 前言 | 为什么要写这本书 | 逐段重读:目的、读者与章节预告,无独立于正文的机制 | done | 0 |
| 第1章 | 企业级大数据技术体系概述 | 逐页回读:六层技术体系、Google技术栈映射、Lambda Architecture、定义与部署选型 | done | 5 |
| 第2章 | 关系型数据的收集 | 逐页回读:双向迁移、并行分片、服务端管理、回灌更新键、CDC 与异地同步 | done | 6 |
| 第3章 | 非关系型数据的收集 | 逐页回读:采集断点、Channel 介质、事务性交接及合并与复用拓扑 | done | 7 |
| 第4章 | 分布式消息队列Kafka | 逐页回读:消息解耦、历史重读、副本、消费组、进度提交和分区并行度 | done | 10 |
| 第5章 | 数据序列化与文件存储格式 | 逐页回读:序列化、Schema 演化、行列式存储与文件格式取舍 | done | 5 |
| 第6章 | 分布式文件系统 | 逐页回读:块、副本、主从架构、客户端写入及访问层次 | done | 8 |
| 第7章 | 分布式结构化存储系统 | 逐页回读:存储选型、HBase 模型与读写、Row Key 建模、OpenTSDB、Kudu | done | 12 |
| 第8章 | 分布式协调服务ZooKeeper | 逐页回读:会话、ZAB、版本写入、选举、Watcher 和 Curator | done | 8 |
| 第9章 | 资源管理与调度系统YARN | 逐页回读:四组件、调度器、资源隔离、Mesos 与架构演化;旧卡 5 张按正文收紧表述 | done | 10 |
| 第10章 | 批处理引擎MapReduce | 逐页回读:编程模型、输入输出、排序去重、压缩切分、Streaming、任务流程与适用边界 | done | 14 |
| 第11章 | DAG计算引擎Spark | 逐页回读:RDD、共享变量、运行模式、Shuffle、Dataset 与 SQL;版本性示例留待审查 | done | 10 |
| 第12章 | 交互式计算引擎 | 逐页回读:ROLAP 的 Impala/Presto、Druid/Kylin 路径与适用边界;6/6 单元完成 | done | 5 |
| 第13章 | 流式实时计算引擎 | 逐页回读:Storm、DStream、Kafka 接入、恢复与一致性;7/7 单元完成 | done | 9 |
| 第14章 | 数据分析语言HQL与SQL | 逐页回读:Hive/Spark SQL 架构、HQL 表类型、分区分桶及排序;7/7 单元完成 | done | 7 |
| 第15章 | 大数据统一编程模型 | 逐页回读:Beam 抽象、Transform、窗口、迟到数据与示例;8/8 单元完成 | done | 7 |
| 第16章 | 大数据机器学习库 | 逐页回读:RDD 到 DataFrame、Pipeline 阶段与算法目录;5/5 单元完成 | done | 2 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | Kafka用KRaft取代ZooKeeper的架构变迁验证 | 证据验证 | done | 第4/8章 | Kafka ZooKeeper→KRaft演进对照笔记 |
| 2 | Structured Streaming取代DStream微批架构的验证 | 证据验证 | done | 第13章 | DStream→Structured Streaming演进对照笔记 |
| 3 | Paxos/ZAB/Raft三种一致性协议横向对照 | 横向学习 | done | 第7/8/9章 | 六维度协议对照表 |
未采用候选:各章旧版部署/参数配置、无答案编程习题及重复搭建整套大数据集群,依赖特定环境且不能比上述证据验证与横向学习更有效地回答当前设计问题;实践卡仅交付计划,未执行其中的现实行动。
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| CDH(Cloudera)/HDP(Hortonworks)/Databricks Spark发行版 | 第一章 | 提及主流商业发行版名称及选型建议(避免组件间版本兼容性问题),未展开各发行版具体差异实现细节 |
| Ambari/Cloudera Manager | 第一章 | 提及自动化部署工具名称,未展开具体部署操作 |
| Tez/Pig/Cascading | 第一章 | 提及作为MapReduce之上的DAG引擎/工作流引擎/数据流封装API,未展开各自架构细节 |
| ZeroMQ/RabbitMQ/AMQP协议 | 第四章 | 提及作为Kafka的对比对象(Kafka不遵循AMQP协议),未展开这些系统自身架构 |
| Logstash/ELK技术栈 | 第四章 | 提及作为可与Kafka组合使用的日志收集组件,未展开ELK具体架构 |
| LinkedIn Camus | 第四章 | 提及作为Kafka数据导入Hadoop的开源连接件,未展开具体实现 |
| Apache Phoenix | 第七章 | 提及作为SQL On HBase的实现方案(将SQL转化为HBase scan操作),未展开其查询优化引擎与Coprocessor集成细节 |
| Apache Curator | 第八章 | 提及作为Netflix开源的ZooKeeper高层客户端(封装leader选举/共享锁/分布式队列等Recipes),未展开其Framework重连与Fluent API实现细节 |
| Apache Slider/Apache Twill | 第九章 | 提及作为帮助现有服务(Storm/HBase)零改造部署到YARN上的项目,未展开具体实现 |
| Giraph/OpenMPI在YARN上运行 | 第九章 | 提及作为尝试迁移到YARN生态的图计算库与高性能并行接口,未展开具体进展 |
| Nutch/NDFS的历史渊源 | 第十章 | 提及Hadoop起源于Nutch搜索引擎项目及其分布式文件系统NDFS,未展开Nutch项目具体实现 |
| Hadoop Streaming(非Java语言编写Mapper/Reducer) | 第十章 | 提及通过标准输入输出管道机制支持C++/Shell等语言编写MapReduce程序,属操作细节,未生成独立卡片 |
| 压缩算法可分解性(LZO/Bzip2 vs Gzip/Snappy) | 第十章 | 提及块级可分解压缩与文件级压缩的对比,属工具选型细节,未展开完整对比表 |
| Spark Streaming/MLLib/GraphX | 第十一章 | 提及作为Spark生态系统的流式计算/机器学习/图计算组件,Spark Streaming与MLLib将分别在第13章、第16章展开,GraphX未展开架构细节 |
| Spark on Mesos运行模式 | 第十一章 | 提及与Spark on YARN流程类似,未展开Mesos特有细节 |
| tungsten-sort Shuffle实现 | 第十一章 | 提及作为Spark第三种Shuffle实现(引入内存自管理),书中标注截至出版时仅为beta版,未展开具体设计 |
| Google Dremel论文 | 第十二章 | 提及作为Impala/Presto设计灵感的原始出处(MPP架构+嵌套数据列存储),核心思想已并入Impala/Presto相关卡片,未展开论文完整技术细节 |
| Kylin的Calcite查询引擎框架 | 第十二章 | 提及作为Kylin用于SQL解析的开源框架,未展开Calcite自身架构 |
| Storm window函数/mapWithState状态管理API | 第十三章 | 提及作为Spark Streaming处理时间窗口聚合与短生命周期状态维护的编程接口,属API使用细节,未生成独立卡片 |
| Storm支持Thrift多语言编程 | 第十三章 | 提及Storm借助Thrift支持Java/Python/C++/PHP等多语言开发,未展开具体实现 |
| HPL/SQL项目 | 第十四章 | 提及作为Hive/Spark SQL/Impala实现存储过程的开源项目,未展开具体实现 |
| Hive数据类型系统(array/map/struct/union) | 第十四章 | 提及Hive支持的高级数据类型,属语法细节,未生成独立卡片 |
| Cascading/Apache Crunch | 第十五章 | 提及作为仅统一批处理计算引擎的编程模型(区别于Beam统一批流两种),未展开各自架构细节 |
| Beam Transform算子(ParDo/GroupByKey/Combine/Partition/Flatten/Join) | 第十五章 | 提及Beam提供的具体数据处理算子及API用法,属编程接口细节,核心统一编程模型思想已并入相关卡片,未逐个生卡 |
| scio(Beam的Scala API) | 第十五章 | 提及作为Spotify开源的Beam Scala封装,未展开具体实现 |
| Scikit-learn/Apache Mahout/FlinkML | 第十六章 | 提及作为单机(Scikit-learn)与分布式(Mahout构建于MapReduce后迁移Spark/Flink,FlinkML)机器学习库的代表,Mahout 2014年后停止接受MapReduce实现转向Spark/Flink,未展开各自算法实现细节 |
| MLLib特征工程与分类/回归/聚类算法列表(TF-IDF/Word2Vec/ALS协同过滤等) | 第十六章 | 提及具体算法名称与用途,属工具书式罗列,未逐个生卡 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| 《Paxos Made Simple》(Leslie Lamport) | 论文 | 第八章 | 提及作为多master选举的经典一致性协议出处,书中仅提及ZAB是”简化版Paxos”,未展开Paxos完整证明过程 |
| 《Omega: flexible, scalable schedulers for large compute clusters》(Google) | 论文 | 第九章 | 核心的”三代资源调度架构演化”框架已提炼入相关卡片,论文中Omega实现细节(冲突次数实测数据等)未展开 |
| Google Borg论文、腾讯Torca | 案例 | 第九章 | 提及作为YARN之外的同类资源管理系统,未展开各自架构细节 |
| 《MapReduce: Simplified Data Processing on Large Clusters》(Jeffrey Dean & Sanjay Ghemawat,2004) | 论文 | 第十章 | 提及作为MapReduce设计思想的原始出处,核心分而治之思想已并入相关卡片,未展开论文完整实验数据 |
| 《Spark: Cluster Computing with Working Sets》(Matei Zaharia等,2010) | 论文 | 第十一章 | 提及作为Spark(UC Berkeley AMP实验室2009年发起)的原始论文出处,核心RDD设计思想已并入相关卡片,未展开论文完整实验数据 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型(强一致性/最终一致性/因果一致性的定义与取舍) | 部分覆盖 | [[Lambda Architecture:批处理层+流式处理层+服务层的互补设计]]提及服务层”只需要最终一致”,[[ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色]]提及”多数派强一致,非多数节点可能滞后需sync同步”这一强一致性行为;但全书未正式定义或对比”强一致性/最终一致性/因果一致性”三种模型,”因果一致性”这一术语全书未出现,经关键词检索确认(”最终一致性”仅出现1次,”强一致性/因果一致性/一致性哈希”均0次),非漏判 |
| 共识算法(Paxos/Raft如何达成节点间一致) | 已覆盖 | [[ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色]]、[[HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟]]、[[双Master架构的核心难题:leader选举与脑裂防止]](提及Paxos作为理论基础);实践点子卡[[Paxos/ZAB/Raft三种一致性协议横向对照]]进一步补充了三者的横向比较 |
| 容错假设(故障模型:崩溃/拜占庭,系统能容忍什么样的故障) | 未覆盖 | 全书容错设计均针对崩溃故障(fail-stop,如DataNode宕机、Broker故障)及静默数据损坏(如HDFS校验码),经关键词检索确认”拜占庭/Byzantine”全书0次出现;本书是工程实现导向的Hadoop生态书籍,未涉及拜占庭容错这一更偏理论/联盟链场景的话题,非漏判 |
| 时钟与顺序问题(物理时钟/逻辑时钟/向量时钟的作用) | 未覆盖 | 经关键词检索确认”逻辑时钟/向量时钟/Lamport clock”全书0次出现(仅”Lamport”作为Paxos论文作者出现);[[Beam的三种时间窗口划分方式:固定/滑动/会话]]与[[watermark与trigger:在数据完整性和延迟之间的分工]]涉及event time/process time,但这是”数据自带时间戳”概念,不是用于判定并发事件因果顺序的逻辑/向量时钟机制,两者不可等同,故仍判定未覆盖,非漏判 |
| 分区处理策略(网络分区下系统如何取舍,CAP权衡) | 未覆盖 | 经关键词检索确认”CAP定理”全书未被实质讨论(唯一”CAP”字符串匹配为HQL语法中”ESCAPED”子串误命中);书中虽有ZooKeeper/HDFS/YARN等系统的高可用设计,但均未用CAP框架正面讨论”网络分区下选一致性还是选可用性”这一权衡,非漏判 |
| 复制与数据分布(数据分片/复制,一致性哈希等) | 已覆盖 | [[HDFS三副本放置策略:机架感知的可靠性与性能权衡]]、[[Kafka的Topic-Partition-Offset模型与分区内有序边界]]、[[HBase Region定位的三级跳转与客户端缓存]]、[[HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟]]等多张卡片覆盖数据分片与副本策略;书中采用hash取模而非一致性哈希(如Kafka Partitioner、Hive分桶),该差异已在相关卡片中说明 |
| 幂等与重试设计(分布式调用失败后的恢复机制) | 已覆盖 | [[Storm acker框架:用异或校验值追踪消息完整处理]]、[[消息传递语义三分类及其实现手段]]、[[Storm与Spark Streaming的一致性语义与吞吐延迟对比]](幂等+at least once逼近exactly once) |
以下逐卡结论以当前 125 张稳定知识卡为范围;“待复核”不代表已加入主题。
| 卡片文件 | 当前标题 | 结论 | 主题或理由 |
|---|---|---|---|
ch01-001-大数据六层技术体系分层架构 |
大数据六层技术体系分层架构 | 无需加入 | 六层技术总览跨多个现有主题,暂无单一匹配索引 |
ch01-002-LambdaArchitecture批流服务三层设计 |
Lambda Architecture:批处理层+流式处理层+服务层的互补设计 | 已复用 | [[Lambda架构与数据系统分层]](notes/_topics/lambda-architecture.md) |
ch01-003-Google技术论文与开源大数据生态的思想传承关系 |
Google技术论文与开源大数据生态的思想传承关系 | 无需加入 | 生态论文关系是书籍背景,现有主题不收此类谱系 |
ch01-004-大数据四特征约束处理链 |
大数据四特征约束处理链 | 无需加入 | 四特征总览与现有专门主题粒度不符 |
ch01-005-集群选型兼顾组件兼容与部署规模 |
集群选型兼顾组件兼容与部署规模 | 无需加入 | 集群采购与部署规模选择不在现有主题范围 |
ch02-001-CDC四种增量数据捕获方案的权衡 |
CDC四种增量数据捕获方案的权衡 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch02-002-业务库与分析平台双向搬运数据 |
业务库与分析平台双向搬运数据 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch02-003-Sqoop用分片并行搬运关系数据 |
Sqoop用分片并行搬运关系数据 | 无需加入 | Sqoop分片搬运细节不宜混入跨系统数据流主题 |
ch02-004-Sqoop2把连接器与作业管理集中到服务端 |
Sqoop2把连接器与作业管理集中到服务端 | 无需加入 | Sqoop2服务端管理属于产品版本实现细节 |
ch02-005-跨机房同步分离抽取与落库阶段 |
跨机房同步分离抽取与落库阶段 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch02-006-分析结果回灌要定义更新键 |
分析结果回灌要定义更新键 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch03-001-Flume的Source-Channel-Sink解耦管道模式 |
Flume的Source-Channel-Sink解耦管道模式 | 已复用 | [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md) |
ch03-002-采集源需要保存读取断点 |
采集源需要保存读取断点 | 无需加入 | 采集断点细节不等同现有背压或数据流主题 |
ch03-003-Channel介质决定缓冲故障边界 |
Channel介质决定缓冲故障边界 | 已复用 | [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md) |
ch03-004-Event须在下一跳接收后移除 |
Event须在下一跳接收后移除 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch03-005-两层汇聚减少存储写入压力 |
两层汇聚减少存储写入压力 | 已复用 | [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md) |
ch03-006-按事件级别选择性复制日志 |
按事件级别选择性复制日志 | 已复用 | [[流式处理与背压]](notes/_topics/stream-processing-backpressure.md) |
ch03-007-Source与Sink连接Channel的基数不同 |
Source与Sink连接Channel的基数不同 | 无需加入 | 连接Channel的基数是Flume局部接口约束 |
ch04-001-消息队列解耦价值与Kafka的push-pull架构选择 |
消息队列的解耦价值与Kafka的push-pull架构选择 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch04-002-Kafka的Topic-Partition-Offset模型与分区内有序边界 |
Kafka的Topic-Partition-Offset模型与分区内有序边界 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch04-003-Kafka-acks可控可靠性级别的三档权衡 |
Kafka acks:可控可靠性级别的三档权衡 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch04-004-消息传递语义三分类及其实现手段 |
消息传递语义三分类及其实现手段 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch04-005-顺序写与zero-copy两个IO层面优化 |
顺序写与zero-copy:两个磁盘/网络IO层面的优化 | 无需加入 | 顺序写与zero-copy是IO实现优化,非当前数据流主题范围 |
ch04-006-消息保留使消费者可以重读 |
消息保留使消费者可以重读 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch04-007-消费者组分摊分区读取负载 |
消费者组分摊分区读取负载 | 无需加入 | 消费者组分摊分区负载是Kafka局部调度细节 |
ch04-008-分区副本由Leader统一对外读写 |
分区副本由Leader统一对外读写 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch04-009-提交消费进度的时机决定丢失或重复 |
消费进度提交的丢失重复权衡 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch04-010-消费者并行度受分区数量限制 |
消费者并行度受分区数量限制 | 无需加入 | 分区数限制并行度是Kafka局部容量约束 |
ch05-001-序列化技术演化四阶段与Schema演化三情形 |
序列化技术演化四阶段与Schema演化的三种兼容性场景 | 已复用 | [[数据交换格式设计]](notes/_topics/data-interchange-formats.md) |
ch05-002-Thrift-Protobuf-Avro三大序列化框架的设计取舍 |
Thrift/Protobuf/Avro三大序列化框架的设计取舍 | 已复用 | [[数据交换格式设计]](notes/_topics/data-interchange-formats.md) |
ch05-003-行式存储与列式存储的读写权衡 |
行式存储与列式存储的读写权衡 | 已复用 | [[存储模型选型]](notes/_topics/storage-model-choices.md) |
ch05-004-SequenceFile三种压缩粒度的取舍 |
Sequence File三种压缩粒度的取舍 | 无需加入 | Sequence File压缩粒度是特定格式细节,现有主题不收 |
ch05-005-ORC-Parquet-CarbonData三种列存储格式的设计特色对比 |
ORC/Parquet/CarbonData三种列存储格式的设计特色对比 | 已复用 | [[存储模型选型]](notes/_topics/storage-model-choices.md) |
ch06-001-文件级别与块级别分布式文件系统的设计演进 |
文件级别与块级别分布式文件系统的设计演进 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch06-002-HDFS主从架构与NameNode高可用切换机制 |
HDFS主从架构与NameNode高可用切换机制 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch06-003-HDFS三副本放置策略的机架感知权衡 |
HDFS三副本放置策略:机架感知的可靠性与性能权衡 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch06-004-HDFS的DataNode故障重构与数据块校验码检测 |
HDFS的DataNode故障重构与数据块校验码检测 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch06-005-HDFS分层存储与集中式缓存管理 |
HDFS分层存储:异构存储介质与集中式缓存管理 | 已复用 | [[软件定义存储数据服务]](notes/_topics/software-defined-storage-services.md) |
ch06-006-客户端分块后经DataNode流水线写入 |
客户端分块后经DataNode流水线写入 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch06-007-按任务选择HDFS访问层 |
按任务选择HDFS访问层 | 无需加入 | HDFS访问接口分层是工具选择细节 |
ch06-008-DistCp按文件并行复制数据 |
DistCp按文件并行复制数据 | 无需加入 | DistCp并行复制是特定工具用法 |
ch07-001-HBase多维有序映射模型与列簇式存储辨析 |
HBase的多维有序映射模型与”列簇式而非列式”辨析 | 已复用 | [[存储模型选型]](notes/_topics/storage-model-choices.md) |
ch07-002-HBase借ZooKeeper实现Master无状态解耦 |
HBase借ZooKeeper实现Master无状态解耦 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch07-003-HBase的WAL加MemStore写路径将随机写转为顺序写 |
HBase的WAL+MemStore写路径:把随机写转化为顺序写 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch07-004-HBase-Region定位的三级跳转与客户端缓存 |
HBase Region定位的三级跳转与客户端缓存 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch07-005-社交关系数据建模三次迭代rowkey设计权衡 |
社交关系数据建模三次迭代:rowkey设计的正反向查询权衡 | 已复用 | [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md) |
ch07-006-OpenTSDB时间序列建模四次迭代避免热点 |
OpenTSDB时间序列建模四次迭代:避免热点与压缩存储 | 已复用 | [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md) |
ch07-007-HBase与Kudu的定位分野及Kudu用Raft统一批流场景 |
HBase与Kudu的定位分野:Kudu用Raft协议兼顾吞吐与延迟 | 已复用 | [[分布式存储与复制]](notes/_topics/distributed-storage-replication.md) |
ch07-008-重复键前缀会放大HBase存储 |
重复键前缀会放大HBase存储 | 无需加入 | 重复前缀放大属于HBase物理编码细节 |
ch07-009-Phoenix把SQL映射为HBase扫描 |
Phoenix把SQL映射为HBase扫描 | 无需加入 | Phoenix查询映射是特定产品接口细节 |
ch07-010-Region是HBase并行计算的切分单位 |
Region是HBase并行计算的切分单位 | 已复用 | [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md) |
ch07-011-时间序列样本由指标标签时间和值组成 |
时间序列样本的四项属性 | 无需加入 | 时间序列样本属性是定义性说明,现有主题无匹配 |
ch07-012-海量结构化存储权衡扩展事务与容错 |
结构化存储的扩展事务容错权衡 | 已复用 | [[存储模型选型]](notes/_topics/storage-model-choices.md) |
ch08-001-双Master架构的核心难题引出协调服务的必要性 |
双Master架构的核心难题:leader选举与脑裂防止 | 已复用 | [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md) |
ch08-002-ZooKeeper的znode四种类型与Watcher一次性触发 |
ZooKeeper的znode四种类型与Watcher一次性触发机制 | 无需加入 | znode类型与Watcher回调是ZooKeeper API细节 |
ch08-003-ZAB读写路径奇数部署与Observer角色 |
ZooKeeper的ZAB读写路径、奇数节点部署与Observer角色 | 已复用 | [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md) |
ch08-004-基于ZooKeeper的leader选举实现模式 |
基于ZooKeeper的leader选举实现模式 | 已复用 | [[分布式共识与领导者选举]](notes/_topics/distributed-consensus.md) |
ch08-005-基于ZooKeeper的服务发现与负载均衡模式 |
基于ZooKeeper的服务发现与负载均衡模式 | 无需加入 | 服务发现不等于现有共识主题 |
ch08-006-版本号限制znode覆盖写 |
版本号限制znode覆盖写 | 无需加入 | znode版本条件写是接口并发控制细节 |
ch08-007-Curator封装重试与协调配方 |
Curator封装重试与协调配方 | 无需加入 | Curator重试封装是客户端库细节 |
ch08-008-配置变更通知后须重取并重监听 |
配置变更通知后须重取并重监听 | 无需加入 | 配置通知与重取是Watcher使用细节 |
ch09-001-MRv1四大局限与资源管理和作业控制解耦 |
MRv1的四大局限与”资源管理/作业控制”解耦 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-002-YARN四大组件的职责边界与Container抽象 |
YARN四大组件的职责边界与Container抽象 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-003-YARN应用运行的两阶段八步工作流程 |
YARN应用运行的两阶段八步工作流程 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-004-YARN高可用三层设计与脑裂防护 |
YARN高可用三层设计与ZooKeeper脑裂防护 | 已复用 | [[高可用与异地多活架构]](notes/_topics/high-availability-architecture.md) |
ch09-005-层级队列弹性共享与资源抢占的一体两面 |
层级队列的弹性共享与资源抢占:一体两面的设计 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-006-CapacityScheduler与FairScheduler的设计取舍 |
Capacity Scheduler与Fair Scheduler的设计取舍 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-007-基于标签的调度用逻辑标签划分异构集群 |
基于标签的调度:用逻辑标签划分异构集群 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-008-YARN内存与CPU资源隔离方案的不同选择 |
YARN内存与CPU资源隔离方案的不同选择 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-009-Mesos的双层调度与三个信任机制 |
Mesos的双层调度与三个”信任但验证”机制 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch09-010-资源管理系统架构三代演化 |
资源管理系统架构三代演化:集中式→双层→共享状态 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch10-001-MapReduce分而治之编程模型与五步骤抽象 |
MapReduce的分而治之编程模型与五步骤抽象 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-002-MapReduce五大可编程组件的职责划分 |
MapReduce五大可编程组件的职责划分 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-003-接口改抽象类的向后兼容API设计 |
“接口改抽象类”:一种向后兼容的API演化策略 | 无需加入 | 抽象类替换接口是API兼容策略,现有大数据计算主题不收 |
ch10-004-MapTask结果落本地磁盘的两个设计问题 |
Map Task结果落本地磁盘:两个反直觉的设计问题 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-005-MapTask与ReduceTask的十阶段执行流程 |
MapTask与ReduceTask的十阶段执行流程 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-006-数据本地性三级调度与延迟调度策略 |
数据本地性的三级调度与延迟调度策略 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch10-007-推测执行用赛马机制对冲慢任务风险 |
推测执行:用”赛马”机制对冲慢任务拖后腿的风险 | 已复用 | [[容量规划与资源调度]](notes/_topics/capacity-scheduling.md) |
ch10-008-MapReduce能解决与不能解决问题的边界 |
MapReduce能解决与不能解决问题的边界:子问题独立性判据 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-009-排序去重避免内存集合 |
排序去重避免内存集合 | 无需加入 | 排序去重的局部算法技巧不属现有范式主题 |
ch10-010-压缩可切分性决定Map并行度 |
压缩可切分性决定Map并行度 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch10-011-只读依赖随任务本地缓存 |
只读依赖随任务本地缓存 | 无需加入 | 任务依赖缓存是分发实现细节 |
ch10-012-标准流桥接非Java任务 |
标准流桥接非Java任务 | 无需加入 | 标准流桥接非Java任务是接口实现细节 |
ch10-013-倒排索引从词反查文档 |
倒排索引从词反查文档 | 已复用 | [[倒排索引与查询处理]](notes/_topics/inverted-index-query.md) |
ch10-014-单作业分流异构输入输出 |
单作业分流异构输入输出 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch11-001-MapReduce四大局限与Spark的针对性设计 |
MapReduce的四大局限与Spark的针对性设计 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch11-002-RDD的弹性含义与血统容错机制 |
RDD的”弹性”含义与血统(lineage)容错机制 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-003-transformation与action的惰性执行分工 |
transformation与action的惰性执行分工 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-004-Spark作业三阶段生命周期与层级关系 |
Spark作业三阶段生命周期与Application-Job-Stage-Task层级关系 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-005-Spark-Shuffle从哈希实现到排序实现的扩展性改进 |
Spark Shuffle:从哈希实现到排序实现的扩展性改进 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-006-RDD持久化三种机制的对比 |
RDD持久化三种机制的对比:cache/persist与checkpoint | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-007-DataFrame-Dataset为何在RDD之上再造一层抽象 |
DataFrame/Dataset为何在RDD之上再造一层抽象 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-008-Standalone与YARN模式下Driver和Executor的容错差异 |
Standalone与YARN模式下Driver和Executor的容错差异 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-009-广播与累加器的共享边界 |
广播与累加器的共享边界 | 已复用 | [[Spark内核执行机制]](notes/_topics/spark-core-internals.md) |
ch11-010-视图与持久表的生命周期 |
视图与持久表的生命周期 | 无需加入 | 视图与表生命周期是SQL对象管理问题,Spark内核主题不收 |
ch12-001-ROLAP-MOLAP-HOLAP三种OLAP实现的权衡 |
ROLAP/MOLAP/HOLAP:三种OLAP实现的实时性与查询效率权衡 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch12-002-Impala对等式架构与MPP节点元数据同步 |
Impala对等式架构:如何解决MPP集群的元数据同步难题 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch12-003-Impala两阶段查询计划与两种分布式Join策略 |
Impala两阶段查询计划与两种分布式Join策略 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch12-004-Presto的Master-Slave架构与插件化Connector设计 |
Presto的Master-Slave架构与”只借用一半生态”的插件化设计 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch12-005-MOLAP空间换时间与Druid-Kylin两种实现路径 |
MOLAP的”空间换时间”:Druid与Kylin两种实现路径 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-001-传统消息队列方案三缺陷与流式引擎的分类 |
传统”消息队列+工作进程”方案的三缺陷与流式引擎的两种路线 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-002-Storm的Topology-Spout-Bolt编程模型与StreamGrouping |
Storm的Topology-Spout-Bolt编程模型与Stream Grouping | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-003-Storm借ZooKeeper实现Nimbus无状态解耦 |
Storm借ZooKeeper实现Nimbus无状态解耦 | 已复用 | [[高可用与异地多活架构]](notes/_topics/high-availability-architecture.md) |
ch13-004-Storm-acker框架用异或校验值追踪消息完整处理 |
Storm acker框架:用异或校验值追踪消息完整处理 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-005-SparkStreaming的DStream微批抽象与Kafka两种读取方式 |
Spark Streaming的DStream微批抽象与Kafka两种读取方式 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-006-SparkStreaming两种状态恢复机制的权衡 |
Spark Streaming两种状态恢复机制的权衡:checkpoint与offset management | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-007-Storm与SparkStreaming的一致性语义与吞吐延迟对比 |
Storm与Spark Streaming的一致性语义与吞吐延迟对比 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch13-008-流式数据线四阶段与缓冲解耦 |
流式数据线的四阶段与缓冲解耦 | 已复用 | [[数据流与分拆数据库]](notes/_topics/dataflow-unbundled-databases.md) |
ch13-009-Storm-Worker-Executor-Task三层并发 |
Storm 的 Worker、Executor 与 Task 三层并发 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch14-001-SQL-on-Hadoop两种架构范式的权衡 |
SQL on Hadoop两种架构范式:基于计算引擎 vs 基于MPP架构 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch14-002-Hive-Metastore三种部署模式与元数据标准化 |
Hive Metastore三种部署模式与”一份数据多种引擎”的元数据标准化 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch14-003-SparkSQL四层架构与Catalyst查询优化器 |
Spark SQL四层架构与Catalyst查询优化器 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch14-004-Hive分区表与分桶表的两种优化粒度 |
Hive分区表与分桶表:两种不同的数据划分优化粒度 | 已复用 | [[分布式数据分片与跨库查询]](notes/_topics/distributed-data-sharding.md) |
ch14-005-ORDER-BY全局排序与DISTRIBUTE-BY分区排序的底层差异 |
ORDER BY全局排序与DISTRIBUTE BY+SORT BY分区排序的底层差异 | 无需加入 | 分区内排序表达式是SQL执行语义细节,范式主题不收 |
ch14-006-Hive更换DAG执行引擎减少中间结果落盘 |
Hive 更换 DAG 执行引擎可减少中间结果落盘 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch14-007-Hive表类型决定数据与元数据删除边界 |
Hive 表类型与数据删除边界 | 无需加入 | Hive表生命周期是对象管理语义,范式主题不收 |
ch15-001-统一编程模型的存在理由计算引擎迁移成本 |
统一编程模型的存在理由:计算引擎迁移成本 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-002-Beam四大核心抽象与Runner的引擎解耦 |
Beam四大核心抽象与Runner的引擎解耦机制 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-003-Beam的三种时间窗口划分方式 |
Beam的三种时间窗口划分方式:固定/滑动/会话 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-004-watermark与trigger在数据完整性和延迟间的分工 |
watermark与trigger:在数据完整性和延迟之间的分工 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-005-accumulation三种模式定义结果修正关系 |
accumulation三种模式:定义同一窗口多次计算结果之间的关系 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-006-Beam-Combine用可合并累加器计算聚合 |
Beam Combine 用可合并累加器计算聚合 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch15-007-Beam侧输入广播与侧输出分流 |
Beam 的侧输入广播与侧输出分流 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch16-001-MLLib从RDD-API迁移到DataFrame-API的三大动机 |
MLLib从RDD API迁移到DataFrame API的三大动机 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
ch16-002-MLLib的Pipeline三概念与无状态设计 |
MLLib的Pipeline三概念:Transformer/Estimator与无状态设计 | 已复用 | [[大数据计算范式]](notes/_topics/big-data-compute-paradigms.md) |
| 章节号 | 对应文件 |
|---|---|
| 前言 | OEBPS/text00002.html |
| 第1章 | OEBPS/text00004.html - text00011.html |
| 第2章 | OEBPS/text00013.html - text00019.html |
| 第3章 | OEBPS/text00020.html - text00025.html |
| 第4章 | OEBPS/text00026.html - text00032.html |
| 第5章 | OEBPS/text00034.html - text00039.html |
| 第6章 | OEBPS/text00040.html - text00047.html |
| 第7章 | OEBPS/text00048.html - text00056.html |
| 第8章 | OEBPS/text00058.html - text00065.html |
| 第9章 | OEBPS/text00066.html - text00076.html |
| 第10章 | OEBPS/text00078.html - text00085.html |
| 第11章 | OEBPS/text00086.html - text00095.html |
| 第12章 | OEBPS/text00096.html - text00101.html |
| 第13章 | OEBPS/text00102.html - text00108.html |
| 第14章 | OEBPS/text00110.html - text00116.html |
| 第15章 | OEBPS/text00117.html - text00124.html |
| 第16章 | OEBPS/text00125.html - text00129.html |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。
主题索引
用声明式模板描述资源及其依赖,由编排引擎按依赖图创建、更新与回滚,以及回滚受删除策略和外部副作用约束的边界。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
比较分布式训练的瓶颈类型、数据并行与模型并行、同步与异步参数更新、数据切分与联邦学习的做法与代价。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
在通用硬件上用软件实现的存储数据服务:元数据组织、数据本地化、快照与克隆、纠删码与压缩、存储池与容器策略及其容量与性能取舍。
主题索引
比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。