来源书籍

大数据系统构建:可扩展实时数据系统构建原理与最佳实践

Skill 版本:v23 分布式系统类 经典原理(高信息浓度 + 高稳定性) 173 张卡片

南森·马茨(Nathan Marz);詹姆斯·沃伦(James Warren) · 机械工业出版社 · 2016-12-01 · ISBN 9787111552949

类别清单覆盖

尚未完成类别清单核对。

章节与卡片

00

1 张卡片
  1. 用实例引入抽象概念 理解等级:中级 普通读书笔记卡

01 大数据的新范式

18 张卡片
  1. 复杂性来自增量 理解等级:未标注 普通读书笔记卡
  2. NoSQL不是银弹 理解等级:未标注 普通读书笔记卡
  3. 数据系统属性 理解等级:未标注 普通读书笔记卡
  4. Lambda三层 理解等级:未标注 普通读书笔记卡
  5. 原始数据优先 理解等级:未标注 普通读书笔记卡
  6. 批量写入摊薄开销 理解等级:中级 普通读书笔记卡
  7. 分片扩展需统一路由 理解等级:高级 普通读书笔记卡
  8. 在线合并会挤占容量 理解等级:高级 普通读书笔记卡
  9. 计数副本不能直接合并 理解等级:高级 普通读书笔记卡
  10. 读取快不代表更新快 理解等级:中级 普通读书笔记卡
  11. 扩容与功能演化不同 理解等级:中级 普通读书笔记卡
  12. 保留中间结果便于调试 理解等级:中级 普通读书笔记卡
  13. 复杂状态应当可丢弃 理解等级:高级 普通读书笔记卡
  14. 批速分工支持最终准确 理解等级:高级 普通读书笔记卡
  15. 工具要匹配数据职责 理解等级:中级 普通读书笔记卡
  16. 弹性资源依赖软件容错 理解等级:高级 普通读书笔记卡
  17. 区分三种网页分析指标 理解等级:初级 普通读书笔记卡
  18. 序列化分离语言表示 理解等级:中级 普通读书笔记卡

02 大数据的数据模型

12 张卡片
  1. 事实不可变 理解等级:未标注 普通读书笔记卡
  2. 粒度决定弹性 理解等级:未标注 普通读书笔记卡
  3. 图适合表达关系 理解等级:未标注 普通读书笔记卡
  4. 原始性取决于观察者 理解等级:中级 普通读书笔记卡
  5. 保留语义规范化输入 理解等级:高级 普通读书笔记卡
  6. 原始数据不等于最多字节 理解等级:高级 普通读书笔记卡
  7. 时间戳绑定历史事实 理解等级:中级 普通读书笔记卡
  8. 原子事实支持部分信息 理解等级:中级 普通读书笔记卡
  9. 事实标识区分重试 理解等级:高级 普通读书笔记卡
  10. 清理事实先验证副本 理解等级:中级 普通读书笔记卡
  11. 模式校验尽早暴露错误 理解等级:中级 普通读书笔记卡
  12. 新事实类型不改旧事实 理解等级:中级 普通读书笔记卡

03 大数据的数据模型:示例

7 张卡片
  1. 联合体表示可选身份 理解等级:中级 结构图卡
  2. 边结构体约束端点 理解等级:中级 结构图卡
  3. 属性结构体绑定值 理解等级:中级 结构图卡
  4. 统一事实入口附带来源 理解等级:中级 结构图卡
  5. 字段号保留历史语义 理解等级:高级 普通读书笔记卡
  6. 结构校验不等业务校验 理解等级:高级 普通读书笔记卡
  7. 校验位置影响故障证据 理解等级:高级 普通读书笔记卡

04 批处理层的数据存储

6 张卡片
  1. 主数据集需求 理解等级:未标注 普通读书笔记卡
  2. 文件系统胜任批量 理解等级:未标注 普通读书笔记卡
  3. 垂直分区降成本 理解等级:中级 普通读书笔记卡
  4. 块位置与文件内容分离 理解等级:中级 结构图卡
  5. 新文件追加不可变数据 理解等级:中级 普通读书笔记卡
  6. 追加要保持数据集约束 理解等级:中级 普通读书笔记卡

05 批处理层的数据存储:示例

9 张卡片
  1. 小文件重复调度开销 理解等级:中级 普通读书笔记卡
  2. HDFS文件操作按用途组合 理解等级:中级 普通读书笔记卡
  3. Pail维护数据集元信息 理解等级:中级 普通读书笔记卡
  4. 关闭写流决定记录可见 理解等级:中级 普通读书笔记卡
  5. 对象编码由策略提供 理解等级:中级 结构图卡
  6. 目录路由与校验相配 理解等级:中级 普通读书笔记卡
  7. 压缩交换空间与CPU 理解等级:中级 普通读书笔记卡
  8. 通用编码与类型构造分离 理解等级:中级 结构图卡
  9. 字段元数据驱动分区 理解等级:中级 结构图卡

06 批处理层

14 张卡片
  1. 重算换简单 理解等级:未标注 普通读书笔记卡
  2. 增量隐藏状态 理解等级:未标注 普通读书笔记卡
  3. MapReduce抽象 理解等级:未标注 普通读书笔记卡
  4. 管道图思维 理解等级:未标注 普通读书笔记卡
  5. 模型改变也会改变结果 理解等级:中级 普通读书笔记卡
  6. 影响力评分需要两级分组 理解等级:中级 普通读书笔记卡
  7. 增量更新需要充分状态 理解等级:中级 普通读书笔记卡
  8. 扩吞吐不等于降延迟 理解等级:中级 普通读书笔记卡
  9. 任务重试依赖确定计算 理解等级:中级 普通读书笔记卡
  10. 本地映射仍需按键洗牌 理解等级:中级 普通读书笔记卡
  11. 逻辑模块不等于物理作业 理解等级:中级 普通读书笔记卡
  12. 部分聚合缩小全局瓶颈 理解等级:中级 普通读书笔记卡
  13. 管道元组字段保持不可变 理解等级:中级 普通读书笔记卡
  14. 连接与集合合并不同 理解等级:中级 普通读书笔记卡

07 批处理层:示例

16 张卡片
  1. 输入输出与查询逻辑分离 理解等级:中级 普通读书笔记卡
  2. 语言边界增加协调责任 理解等级:中级 普通读书笔记卡
  3. 组合抽象避免重复优化 理解等级:中级 普通读书笔记卡
  4. 统一谓词表达查询约束 理解等级:中级 普通读书笔记卡
  5. 字段名承载空值约束 理解等级:中级 普通读书笔记卡
  6. 共享变量隐式决定连接 理解等级:中级 普通读书笔记卡
  7. 拼接与去重合并不同 理解等级:中级 普通读书笔记卡
  8. 输出维度决定分组粒度 理解等级:中级 普通读书笔记卡
  9. 单记录转换有不同基数 理解等级:中级 普通读书笔记卡
  10. 聚合接口决定组合与效率 理解等级:中级 普通读书笔记卡
  11. 子查询先构造后执行 理解等级:中级 普通读书笔记卡
  12. 动态查询生成重复结构 理解等级:中级 普通读书笔记卡
  13. 随机排序支持并行抽样 理解等级:中级 普通读书笔记卡
  14. 先排序可流式唯一计数 理解等级:中级 普通读书笔记卡
  15. 谓词宏组合计算片段 理解等级:中级 普通读书笔记卡
  16. 参数化宏复用字段操作 理解等级:中级 普通读书笔记卡

08 批处理层示例:架构和算法

1 张卡片
  1. 规范化先于聚合 理解等级:未标注 普通读书笔记卡

08 大数据的数据模型

1 张卡片
  1. 去重是语义问题 理解等级:未标注 普通读书笔记卡

08 批处理层示例:架构和算法

10 张卡片
  1. 等价关系会改写历史 理解等级:未标注 普通读书笔记卡
  2. 多粒度桶减少范围读取 理解等级:中级 普通读书笔记卡
  3. 独立计数不能直接相加 理解等级:中级 普通读书笔记卡
  4. 基数摘要保留可合并状态 理解等级:中级 结构图卡
  5. 同批视图共享输入边界 理解等级:中级 普通读书笔记卡
  6. 连通等价图统一身份 理解等级:中级 普通读书笔记卡
  7. 双向边收齐节点邻域 理解等级:中级 普通读书笔记卡
  8. 无新边作为迭代终点 理解等级:中级 普通读书笔记卡
  9. 外连接保留孤立标识 理解等级:中级 普通读书笔记卡
  10. 会话口径先于跳出率 理解等级:中级 普通读书笔记卡

09 批处理层示例:实现

7 张卡片
  1. 跨节点对象先注册编码 理解等级:中级 普通读书笔记卡
  2. 快照限定追加清理范围 理解等级:中级 普通读书笔记卡
  3. 分解使记录符合目标结构 理解等级:中级 普通读书笔记卡
  4. 少量归约可限制输出文件 理解等级:中级 普通读书笔记卡
  5. 派生对象先复制再变换 理解等级:中级 普通读书笔记卡
  6. 摘要空间可按基数分配 理解等级:中级 普通读书笔记卡
  7. 流式会话需结算末段 理解等级:中级 普通读书笔记卡

10 服务层概述

11 张卡片
  1. 服务层只服务视图 理解等级:未标注 普通读书笔记卡
  2. 预计算的取舍 理解等级:未标注 普通读书笔记卡
  3. 批量替换视图 理解等级:未标注 普通读书笔记卡
  4. 反范式化有边界 理解等级:未标注 普通读书笔记卡
  5. 查询扇出放大尾延迟 理解等级:中级 普通读书笔记卡
  6. 共置排序数据以扫描代替寻道 理解等级:中级 普通读书笔记卡
  7. 粒度选择取决于值的成本 理解等级:中级 普通读书笔记卡
  8. 逻辑键不必等于分区键 理解等级:中级 普通读书笔记卡
  9. 增量修正需要反向定位 理解等级:中级 普通读书笔记卡
  10. 有损摘要前先解决身份 理解等级:中级 普通读书笔记卡
  11. 实体抽样须稳定决定入选 理解等级:中级 普通读书笔记卡

11 服务层示例:ElephantDB

4 张卡片
  1. 服务节点主动拉取新分片 理解等级:中级 普通读书笔记卡
  2. 分片切换只证明局部版本更新 理解等级:中级 普通读书笔记卡
  3. 缺少范围接口可换预计算粒度 理解等级:中级 普通读书笔记卡
  4. 摘要在服务端合并可省传输 理解等级:中级 普通读书笔记卡

12 实时视图

10 张卡片
  1. 速度层补新鲜度 理解等级:未标注 普通读书笔记卡
  2. 实时视图可过期 理解等级:未标注 普通读书笔记卡
  3. 同步异步权衡 理解等级:未标注 普通读书笔记卡
  4. 增量计算难点 理解等级:中级 普通读书笔记卡
  5. CAP只在分区时二选一 理解等级:未标注 普通读书笔记卡
  6. 近期重算也有延迟门槛 理解等级:中级 普通读书笔记卡
  7. 临时状态限制复杂性规模 理解等级:中级 普通读书笔记卡
  8. 合并计数须保留来源分量 理解等级:中级 普通读书笔记卡
  9. 过期依据进度而非钟表 理解等级:中级 普通读书笔记卡
  10. 交替视图保留未覆盖窗口 理解等级:中级 普通读书笔记卡

13 实时视图:示例

3 张卡片
  1. 分区键内保存有序列 理解等级:中级 结构图卡
  2. 流式迭代限制读取内存 理解等级:中级 普通读书笔记卡
  3. 保序分区增加均衡责任 理解等级:中级 普通读书笔记卡

14 队列和流处理

11 张卡片
  1. 队列解耦速度 理解等级:中级 普通读书笔记卡
  2. 流是连续批处理 理解等级:未标注 普通读书笔记卡
  3. 至少一次需幂等 理解等级:未标注 普通读书笔记卡
  4. 速度层应少做事 理解等级:未标注 普通读书笔记卡
  5. 消费进度与共享日志分离 理解等级:中级 普通读书笔记卡
  6. 按状态键路由避免竞态 理解等级:中级 普通读书笔记卡
  7. 逐阶段持久化增加管道负担 理解等级:中级 普通读书笔记卡
  8. 拓扑描述逻辑任务路由 理解等级:中级 结构图卡
  9. 从根重放替代中间队列 理解等级:中级 普通读书笔记卡
  10. 用数据量化临时近似误差 理解等级:中级 普通读书笔记卡
  11. 两层共享规范化语义 理解等级:中级 普通读书笔记卡

15 队列和流处理:示例

5 张卡片
  1. 协调状态与事件通道分离 理解等级:中级 普通读书笔记卡
  2. 限制在途输入形成反馈 理解等级:中级 普通读书笔记卡
  3. 派生依赖与完成分开上报 理解等级:中级 普通读书笔记卡
  4. 自动确认只适合即时完成 理解等级:中级 结构图卡
  5. 写入完成后才确认输入 理解等级:中级 普通读书笔记卡

16 微批量流处理

11 张卡片
  1. 微批量折中 理解等级:未标注 普通读书笔记卡
  2. 批次标识防重复 理解等级:中级 普通读书笔记卡
  3. 两类Spout定重放边界 理解等级:未标注 普通读书笔记卡
  4. 延迟吞吐互换 理解等级:未标注 普通读书笔记卡
  5. 局部前K减少全局汇总量 理解等级:中级 普通读书笔记卡
  6. 本批计算与跨批状态分开 理解等级:中级 普通读书笔记卡
  7. 状态更新抽象承接重试协议 理解等级:中级 普通读书笔记卡
  8. 无事发生也需要状态判断 理解等级:中级 普通读书笔记卡
  9. 会话长度不等于间隔阈值 理解等级:中级 普通读书笔记卡
  10. 等待迟到数据需要明确上限 理解等级:中级 普通读书笔记卡
  11. 业务等待允许磁盘批处理 理解等级:中级 普通读书笔记卡

17 微批量流处理:示例

5 张卡片
  1. 分组字段解释依赖适配器 理解等级:中级 普通读书笔记卡
  2. 路由分区不等于独立分组 理解等级:中级 普通读书笔记卡
  3. 重试安全不等于状态持久 理解等级:中级 普通读书笔记卡
  4. 日志恢复要定期收束 理解等级:中级 普通读书笔记卡
  5. 检查点绑定输入位置 理解等级:中级 普通读书笔记卡

18 深入Lambda架构

11 张卡片
  1. 查询是数据函数 理解等级:未标注 普通读书笔记卡
  2. 三指标张力 理解等级:未标注 普通读书笔记卡
  3. 部分重算 理解等级:中级 普通读书笔记卡
  4. 多批处理层 理解等级:未标注 普通读书笔记卡
  5. 批处理追赶线 理解等级:未标注 普通读书笔记卡
  6. 合并查询逻辑 理解等级:中级 普通读书笔记卡
  7. 布隆筛选后再精确连接 理解等级:中级 结构图卡
  8. 增量构建仍可发布新版本 理解等级:中级 普通读书笔记卡
  9. 接近饱和会放大扰动 理解等级:中级 普通读书笔记卡
  10. 扩容收益取决于固定开销 理解等级:中级 普通读书笔记卡
  11. 稳态扰动可估处理系数 理解等级:中级 普通读书笔记卡

全书概览

大数据系统构建:可扩展实时数据系统构建原理与最佳实践

  • 历史 Skill 版本:概览未记录该字段(v7 重跑产物,见 _workflow.md),不补写。
  • 2026-09-24 历史使用规则:book-notes v8(2026-09-24 补做主题索引维护,卡片正文未改动),详见 _workflow.md。

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

评级理由:本书虽然穿插 Hadoop、Storm、Cassandra、Thrift、ElephantDB、Trident 等具体工具,但这些工具主要承担示例作用,核心讨论的是大数据系统的稳定设计原则:用不可变主数据集承载权威事实,用批处理层重算派生视图,用服务层提供低延迟查询,用速度层补齐新鲜度,并持续比较增量计算与重新计算在复杂度、容错、人为错误恢复和资源成本上的权衡。前言和第1章明确反对把 NoSQL 当作万能替代品,第6章集中分析重算算法与增量算法,第12~16章讨论实时增量状态的复杂性,第18章把数据系统抽象为“对已知数据计算函数的查询”。这些内容不依赖某个版本 API,5~10 年后仍可迁移到 Spark、Flink、Kafka、湖仓或现代流处理系统中。

历史章节筛选(本轮由后述128项计划取代)

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
1 大数据的新范式 精读 done 5
2 大数据的数据模型 精读 done 3
3 大数据的数据模型:示例 略读 done 0
4 批处理层的数据存储 精读 done 3
5 批处理层的数据存储:示例 略读 done 0
6 批处理层 精读 done 4
7 批处理层:示例 略读 done 0
8 批处理层示例:架构和算法 精读 done 3
9 批处理层示例:实现 略读 done 0
10 服务层概述 精读 done 4
11 服务层:示例 略读 done 0
12 实时视图 精读 done 5
13 实时视图:示例 略读 done 0
14 队列和流处理 精读 done 4
15 队列和流处理:示例 略读 done 0
16 微批量流处理 精读 done 4
17 微批量流处理:示例 略读 done 0
18 深入Lambda架构 精读 done 6

历史章节取舍理由(非本轮执行规则)

  • 第1章《大数据的新范式》:精读。总论全书的问题意识:传统增量数据库复杂性、基本属性和 Lambda 架构,是后续所有章节的坐标系。
  • 第2章《大数据的数据模型》:精读。围绕事实、不可变数据和图模型展开,是主数据集设计的核心原理。
  • 第3章《大数据的数据模型:示例》:略读。以 Thrift 作为序列化示例,工具与语法细节较多,原则已由第2章覆盖。
  • 第4章《批处理层的数据存储》:精读。讨论主数据集的存储需求、分布式文件系统和垂直分区,偏稳定架构原则。
  • 第5章《批处理层的数据存储:示例》:略读。主要演示 HDFS 与 Pail 的使用,实践价值受具体工具生态影响较大。
  • 第6章《批处理层》:精读。系统比较重算与增量算法,并解释 MapReduce 与管道图,是批处理层的理论核心。
  • 第7章《批处理层:示例》:略读。以 JCascalog 展示代码实现,框架绑定较强,抽象原则在第6章更集中。
  • 第8章《批处理层示例:架构和算法》:精读。虽然使用示例应用,但重点是规范化、去重、视图计算等可迁移的算法设计。
  • 第9章《批处理层示例:实现》:略读。偏具体代码实现和工作流落地,工具时效性高于原理浓度。
  • 第10章《服务层概述》:精读。解释批处理视图如何被索引和服务,包含服务层数据库需求与读写权衡。
  • 第11章《服务层:示例》:略读。围绕 ElephantDB 的具体操作展开,工具生态已经较旧,适合了解不宜重记。
  • 第12章《实时视图》:精读。讲速度层如何弥补批处理延迟,以及增量计算、同步异步、过期视图的关键权衡。
  • 第13章《实时视图:示例》:略读。主要围绕 Cassandra 数据模型和使用方式,工具细节多于系统原则。
  • 第14章《队列和流处理》:精读。解释队列、流处理、一次一个事件处理和速度层架构,是实时系统的稳定概念。
  • 第15章《队列和流处理:示例》:略读。Storm 拓扑、部署和 API 占比较大,工具绑定较强。
  • 第16章《微批量流处理》:精读。讨论微批量、恰好一次语义和流式管道图,仍是现代流处理的重要抽象。
  • 第17章《微批量流处理:示例》:略读。以 Trident 实现为主,框架细节时效性较高。
  • 第18章《深入Lambda架构》:精读。回收全书概念,讨论数据系统定义、部分重算、多批处理层和资源优化,浓度最高。

类别识别与类别清单核对

  • 类别:分布式系统类(.claude/skills/book-notes/category-checklists.md)。
维度 覆盖状态 关联卡片标题或未覆盖理由
一致性模型 已覆盖 [[CAP只在分区时二选一]](最终一致性定义)、[[三指标张力]]
共识算法 未覆盖 全书未讨论Paxos/Raft等共识协议,本书聚焦数据建模与批速双层架构而非节点间共识,非漏judgment,如实标注未覆盖
容错假设 已覆盖 [[Lambda三层]]、[[复杂性来自增量]]、[[原始数据优先]](人为错误容忍)
时钟与顺序问题 未覆盖 全书未讨论物理/逻辑/向量时钟机制,如实标注未覆盖
分区处理策略(CAP权衡) 已覆盖 新增[[CAP只在分区时二选一]](原有卡片未覆盖此维度,核对时发现第12章”12.3 增量计算的挑战”专节讲解CAP原理并纠正常见误解,回读原文补生成)
复制与数据分布 已覆盖 [[主数据集需求]]、[[文件系统胜任批量]]、[[垂直分区降成本]]
幂等与重试设计 已覆盖 [[至少一次需幂等]]

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 cardbox重命名孤儿记录诊断 真实任务 done 06 ideas/idea-001-cardbox重命名孤儿记录诊断.md;导入前基线已准备
2 force重刷提醒机制评估 决策实践 done 18 ideas/idea-002-force重刷提醒机制评估.md;计划已交付
3 Trident批次状态深读 实现深读 done 16、17 ideas/idea-003-Trident批次状态深读.md;固定提交源码及首轮映射已准备

实践候选筛选:done

本轮保留并修订前两项计划,新增成熟实现深读。未采用另建Lambda系统、重新实现HyperLogLog或上线队列的候选:当前目标是理解状态与恢复,不需要完整造轮子或生产干预。三卡均为计划交付,后续行动不冒充已经执行。

历史孤儿问题的当前核验:2026-10-27只读基线得到41条已归档卡,路径均存在,9690不在本书当前集合中。原计划保存于本书_work目录的baseline-idea文件,不推断其何时被他人处理。

主题索引维护

本书以 Lambda 架构为主线,新建 1 个主题(Lambda 架构与数据系统分层),并把计算范式、一致性与 CAP、存储选型、复杂度等内容并入已有主题;原“CAP 主题索引候选”由已有的 consistency-models 主题承接,不再另建。

卡片标题 结论 主题文件或原因
复杂性来自增量 已复用 notes/_topics/simplicity-complexity.md
NoSQL不是银弹 已复用 notes/_topics/storage-model-choices.md
数据系统属性 已创建 notes/_topics/lambda-architecture.md
Lambda三层 已创建 notes/_topics/lambda-architecture.md
原始数据优先 已创建 notes/_topics/lambda-architecture.md
事实不可变 已创建 notes/_topics/lambda-architecture.md
粒度决定弹性 已复用 notes/_topics/integrity-constraints-update.md
图适合表达关系 已复用 notes/_topics/storage-model-choices.md
主数据集需求 已创建 notes/_topics/lambda-architecture.md
文件系统胜任批量 已复用 notes/_topics/storage-model-choices.md
垂直分区降成本 已复用 notes/_topics/storage-model-choices.md
重算换简单 已创建 notes/_topics/lambda-architecture.md
增量隐藏状态 已创建 notes/_topics/lambda-architecture.md
MapReduce抽象 已复用 notes/_topics/big-data-compute-paradigms.md
管道图思维 已复用 notes/_topics/big-data-compute-paradigms.md
规范化先于聚合 已复用 notes/_topics/integrity-constraints-update.md
去重是语义问题 已复用 notes/_topics/integrity-constraints-update.md
等价关系会改写历史 已复用 notes/_topics/integrity-constraints-update.md
服务层只服务视图 已创建 notes/_topics/lambda-architecture.md
预计算的取舍 已创建 notes/_topics/lambda-architecture.md
批量替换视图 已创建 notes/_topics/lambda-architecture.md
反范式化有边界 已复用 notes/_topics/integrity-constraints-update.md
速度层补新鲜度 已创建 notes/_topics/lambda-architecture.md
实时视图可过期 已创建 notes/_topics/lambda-architecture.md
同步异步权衡 已复用 notes/_topics/consistency-models.md
增量计算难点 已复用 notes/_topics/big-data-compute-paradigms.md
CAP只在分区时二选一 已复用 notes/_topics/consistency-models.md
队列解耦速度 已复用 notes/_topics/domain-events-eventual-consistency.md
流是连续批处理 已复用 notes/_topics/big-data-compute-paradigms.md
至少一次需幂等 已复用 notes/_topics/domain-events-eventual-consistency.md
速度层应少做事 已创建 notes/_topics/lambda-architecture.md
微批量折中 已复用 notes/_topics/big-data-compute-paradigms.md
批次标识防重复 已复用 notes/_topics/domain-events-eventual-consistency.md
两类Spout定重放边界 已复用 notes/_topics/domain-events-eventual-consistency.md
延迟吞吐互换 已复用 notes/_topics/big-data-compute-paradigms.md
查询是数据函数 已创建 notes/_topics/lambda-architecture.md
三指标张力 已创建 notes/_topics/lambda-architecture.md
部分重算 已创建 notes/_topics/lambda-architecture.md
多批处理层 已创建 notes/_topics/lambda-architecture.md
批处理追赶线 已创建 notes/_topics/lambda-architecture.md
合并查询逻辑 已创建 notes/_topics/lambda-architecture.md

v23 本轮恢复(2026-10-26)

执行模式:light

建档进度:done

本轮使用 book-workflow v4 / book-notes v23,保留首次历史版本。原 EPUB 与缓存已逐文件核对一致;历史无覆盖记录,旧章完成状态不代表本轮已读,以下计划与 _coverage.md 为本轮实际进度。整书笔记现已按全部正文完成,导入结果见后述当前状态;旧计数快照仅保留历史。

章节进度追踪表
章节号 章节标题 状态(pending/done) 卡片数
004 译者序 done 0
005 前言 done 0
006 关于本书 / 路线图 / 代码下载和约定 / 作者在线 / 关于封面插图 done 0
007 致谢 done 1
008 第1章 大数据的新范式 done 0
009 1.1 本书是如何组织的 done 0
010 1.2 扩展传统数据库 / 1.2.1 用队列扩展 / 1.2.2 通过数据库分片进行扩展 / 1.2.3 开始处理容错问题 / 1.2.4 损坏问题 / 1.2.5 到底是哪里出错了 / 1.2.6 大数据技术是如何起到帮助作用的 done 4
011 1.3 NoSQL不是万能的 done 1
012 1.4 基本原理 done 0
013 1.5 大数据系统应有的属性 / 1.5.1 鲁棒性和容错性 / 1.5.2 低延迟读取和更新 / 1.5.3 可扩展性 / 1.5.4 通用性 / 1.5.5 延展性 / 1.5.6 即席查询 / 1.5.7 最少维护 / 1.5.8 可调试性 done 4
014 1.6 全增量架构的问题 / 1.6.1 操作复杂性 / 1.6.2 实现最终一致性的极端复杂性 / 1.6.3 缺乏容忍人为错误 / 1.6.4 全增量架构解决方案与Lambda架构解决方案 done 2
015 1.7 Lambda架构 / 1.7.1 批处理层 / 1.7.2 服务层 / 1.7.3 批处理层和服务层满足几乎所有属性 / 1.7.4 速度层 done 3
016 1.8 技术上的最新趋势 / 1.8.1 CPU并不是越来越快 / 1.8.2 弹性云 / 1.8.3 大数据充满活力的开源生态系统 done 3
017 1.9 示例应用:SuperWebAnalytics.com done 1
018 1.10 总结 done 0
019 第一部分 批处理层 done 0
020 第2章 大数据的数据模型 done 0
021 2.1 数据的属性 / 2.1.1 数据是原始的 / 2.1.2 数据是不可变的 / 2.1.3 数据是永远真实的 done 7
022 2.2 基于事实的数据表示模型 / 2.2.1 事实的示例及属性 / 2.2.2 基于事实的模型的优势 done 2
023 2.3 图模式 / 2.3.1 图模式的元素 / 2.3.2 可实施模式的必要性 done 2
024 2.4 SuperWebAnalytics.com的完整数据模型 done 1
025 2.5 总结 done 0
026 第3章 大数据的数据模型:示例 done 0
027 3.1 为什么使用序列化框架 done 0
028 3.2 Apache Thrift / 3.2.1 节点 / 3.2.2 边 / 3.2.3 属性 / 3.2.4 把一切组合成数据对象 / 3.2.5 模式演变 done 5
029 3.3 序列化框架的局限性 done 2
030 3.4 总结 done 0
031 第4章 批处理层的数据存储 done 0
032 4.1 主数据集的存储需求 done 1
033 4.2 为批处理层选择存储方案 / 4.2.1 使用键/值存储主数据集 / 4.2.2 分布式文件系统 done 1
034 4.3 分布式文件系统是如何工作的 done 1
035 4.4 使用分布式文件系统存储主数据集 done 1
036 4.5 垂直分区 done 1
037 4.6 分布式文件系统的底层性质 done 1
038 4.7 在分布式文件系统上存储SuperWebAnalytics.com的主数据集 done 0
039 4.8 总结 done 0
040 第5章 批处理层的数据存储:示例 done 0
041 5.1 使用HDFS / 5.1.1 小文件问题 / 5.1.2 转向更高层次的抽象 done 2
042 5.2 使用Pail在批处理层存储数据 / 5.2.1 Pail基本操作 / 5.2.2 序列化对象到Pail中 / 5.2.3 使用Pail进行批处理操作 / 5.2.4 使用Pail进行垂直分区 / 5.2.5 Pail文件格式与压缩 / 5.2.6 Pail优点的总结 done 5
043 5.3 存储SuperWebAnalytics.com的主数据集 / 5.3.1 Thrift对象的结构化Pail / 5.3.2 SuperWebAnalytics.com的基础Pail / 5.3.3 用于垂直分区数据集的分片Pail done 2
044 5.4 总结 done 0
045 第6章 批处理层 done 0
046 6.1 启发性示例 / 6.1.1 给定时间范围内的页面浏览量 / 6.1.2 性别推理 / 6.1.3 影响力分数 done 2
047 6.2 批处理层上的计算 done 1
048 6.3 重新计算算法与增量算法 / 6.3.1 性能 / 6.3.2 容忍人为错误 / 6.3.3 算法的通用性 / 6.3.4 选择算法的风格 done 3
049 6.4 批处理层中的可扩展性 done 1
050 6.5 MapReduce:一种大数据计算的范式 / 6.5.1 可扩展性 / 6.5.2 容错性 / 6.5.3 MapReduce的通用性 done 3
051 6.6 MapReduce的底层特性 / 6.6.1 多步计算很怪异 / 6.6.2 手动实现连接非常复杂 / 6.6.3 逻辑和物理执行紧密耦合 done 1
052 6.7 管道图——一种关于批处理计算的高级思维方式 / 6.7.1 管道图的概念 / 6.7.2 通过MapReduce执行管道图 / 6.7.3 合并聚合器 / 6.7.4 管道图示例 done 4
053 6.8 总结 done 0
054 第7章 批处理层:示例 done 0
055 7.1 一个例证 done 1
056 7.2 数据处理工具的常见陷阱 / 7.2.1 自定义语言 / 7.2.2 不良的可组合抽象 done 2
057 7.3 JCascalog介绍 / 7.3.1 JCascalog的数据模型 / 7.3.2 JCascalog查询的结构 / 7.3.3 查询多个数据集 / 7.3.4 分组和聚合器 / 7.3.5 对一个查询示例进行单步调试 / 7.3.6 自定义谓词操作 done 7
058 7.4 组合 / 7.4.1 合并子查询 / 7.4.2 动态创建子查询 / 7.4.3 谓词宏 / 7.4.4 动态创建谓词宏 done 6
059 7.5 总结 done 0
060 第8章 批处理层示例:架构和算法 done 0
061 8.1 SuperWebAnalytics.com批处理层的设计 / 8.1.1 所支持的查询 / 8.1.2 批处理视图 done 3
062 8.2 工作流概述 done 0
063 8.3 获取新数据 done 1
064 8.4 URL规范化 done 1
065 8.5 用户标识符规范化 done 5
066 8.6 页面浏览去重 done 1
067 8.7 计算批处理视图 / 8.7.1 给定时间范围内的页面浏览量 / 8.7.2 给定时间范围内的独立访客 / 8.7.3 跳出率分析 done 1
068 8.8 总结 done 0
069 第9章 批处理层示例:实现 done 0
070 9.1 出发点 done 0
071 9.2 准备工作流 done 1
072 9.3 获取新数据 done 3
073 9.4 URL规范化 done 1
074 9.5 用户标识符规范化 done 0
075 9.6 页面浏览去重 done 0
076 9.7 计算批处理视图 / 9.7.1 给定时间范围内的页面浏览量 / 9.7.2 给定时间范围内的独立访客 / 9.7.3 跳出率分析 done 2
077 9.8 总结 done 0
078 第二部分 服务层 done 0
079 第10章 服务层概述 done 0
080 10.1 服务层的性能指标 done 2
081 10.2 规范化/非规范化问题的服务层解决方案 done 1
082 10.3 服务层数据库的需求 done 2
083 10.4 设计SuperWebAnalytics.com的服务层 / 10.4.1 给定时间范围内的页面浏览量 / 10.4.2 随着时间推移的独立访客 / 10.4.3 跳出率分析 done 2
084 10.5 对比全增量的解决方案 / 10.5.1 随着时间推移的独立访客的全增量方案 / 10.5.2 与Lambda架构解决方案的比较 done 3
085 10.6 总结 done 0
086 第11章 服务层:示例 done 0
087 11.1 ElephantDB的基本概念 / 11.1.1 ElephantDB中的视图创建 / 11.1.2 ElephantDB中的视图服务 / 11.1.3 使用ElephantDB done 2
088 11.2 创建SuperWebAnalytics.com的服务层 / 11.2.1 给定时间范围内的页面浏览量 / 11.2.2 给定时间范围内的独立访客数量 / 11.2.3 跳出率分析 done 2
089 11.3 总结 done 0
090 第三部分 速度层 done 0
091 第12章 实时视图 done 0
092 12.1 计算实时视图 done 2
093 12.2 存储实时视图 / 12.2.1 最终一致性 / 12.2.2 速度层中存储的状态总量 done 1
094 12.3 增量计算的挑战 / 12.3.1 CAP原理的有效性 / 12.3.2 CAP原理和增量算法之间复杂的相互作用 done 3
095 12.4 异步更新与同步更新 done 1
096 12.5 过期实时视图 done 3
097 12.6 总结 done 0
098 第13章 实时视图:示例 done 0
099 13.1 Cassandra的数据模型 done 1
100 13.2 使用Cassandra / Cassandra的高级特性 done 2
101 13.3 总结 done 0
102 第14章 队列和流处理 done 0
103 14.1 队列 / 14.1.1 单消费者队列 / 14.1.2 多消费者队列 done 3
104 14.2 流处理 / 14.2.1 队列和工作节点 / 14.2.2 队列和工作节点的缺陷 done 2
105 14.3 更高层次的一次一个的流处理 / 14.3.1 Storm模型 / 14.3.2 保证消息处理 done 3
106 14.4 SuperWebAnalytics.com速度层 / 拓扑结构 done 2
107 14.5 总结 done 1
108 第15章 队列和流处理:示例 done 0
109 15.1 使用Apache Storm定义拓扑结构 done 0
110 15.2 Apache Storm集群及其部署 done 2
111 15.3 保证消息处理 done 2
112 15.4 实现SuperWebAnalytics.com给定时间范围内的独立访客的速度层 done 1
113 15.5 总结 done 0
114 第16章 微批量流处理 done 1
115 16.1 实现有且仅有一次语义 / 16.1.1 强有序处理 / 16.1.2 微批量流处理 / 16.1.3 微批量流处理的拓扑结构 done 2
116 16.2 微批量流处理的核心概念 done 3
117 16.3 微批量流处理的扩展管道图 done 1
118 16.4 完成SuperWebAnalytics.com的速度层 / 16.4.1 给定时间范围内的页面浏览量 / 16.4.2 跳出率分析 done 3
119 16.5 另一个跳出率分析示例 done 1
120 16.6 总结 done 0
121 第17章 微批量流处理:示例 done 0
122 17.1 使用Trident done 1
123 17.2 完成SuperWebAnalytics.com的速度层 / 17.2.1 给定时间范围内的页面浏览量 / 17.2.2 跳出率分析 done 2
124 17.3 完全容错、基于内存及微批量处理 done 2
125 17.4 总结 done 0
126 第18章 深入Lambda架构 done 0
127 18.1 定义数据系统 done 2
128 18.2 批处理层和服务层 / 18.2.1 增量的批处理 / 18.2.2 测量和优化批处理层的资源使用 done 8
129 18.3 速度层 done 0
130 18.4 查询层 done 1
131 18.5 总结 done 0
非正文排除
spine项 类型 排除理由
001 titlepage.xhtml 封面 仅封面元信息及图像,无实质论述
002 OEBPS/Text/001.xhtml 扉页 原书封面图,已查看,仅书名、作者与出版标识,无实质论述
003 OEBPS/Text/002.xhtml 版权页 仅书名、作者、出版社、出版日期及ISBN;出版信息另用于整书笔记元数据
待关联术语
术语名 出现章节 一句话语境
RDBMS 004、008、011 译者序、导读和工具比较提及传统关系数据库背景
Thrift 004、006、009 阅读范围与示例工具,具体机制后文展开
HBase 004、008、016 大数据生态与读写存储示例,后续按实际展开处理
Clojure 004、007 作者经历与致谢提及语言及其简洁性理念,未展开语言机制
Datalog 007 致谢提及Cascalog的来源,未展开语义
分布式锁服务 008 大数据先驱项目的背景举例,未解释机制
HyperLogLog 014、015 作为独立计数近似算法示例,仅说明用途,算法后文展开
引用文献
标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Big-Data-Manning 源码项目 006 本书提供的示例代码仓库,未核验当前在线状态
MapReduce原始论文 论文 007 致谢Jeffrey Dean与Sanjay Ghemawat
Dynamo原始论文 论文 007 致谢论文作者,未展开论文机制
Apache Hadoop 源码项目 004、007、008、009 译者序、致谢及导读提及;1.8另按工具角色解释
Cascalog 源码项目 007 致谢描述Datalog与MapReduce结合的项目来源
Cascading 框架 007 致谢提及其对作者理解大规模计算的影响
Protocol Buffers 框架 016 序列化框架举例,未展开专属机制
Avro 框架 016 序列化框架举例,未展开专属机制
Voldemort 源码项目 016 NoSQL产品列表,只提名
Riak 源码项目 008、016 NoSQL产品列表,只提名
CouchDB 源码项目 016 NoSQL产品列表,只提名
MongoDB 源码项目 008、016 NoSQL产品列表,只提名
Apache Kafka 源码项目 016 消息队列角色的工具举例,未展开内部实现
Apache Storm 源码项目 004、006、009、016 实时计算角色与后文示例,未在此展开执行模型

| Hector | 框架 | 100 | 旧版Cassandra Java客户端示例入口,未展开客户端内部实现 | | BerkeleyDB | 框架 | 087、128 | 离线分片本地索引引擎示例,未展开B树机制 | | ElasticSearch | 框架 | 093 | 全文搜索型实时索引的工具举例 | | Memcached | 框架 | 096、122 | TTL对比及状态后端举例,未展开实现 | | Kestrel | 框架 | 103、105 | 队列与Spout来源举例,专属实现未展开 | | RabbitMQ | 框架 | 103 | 单消费者接口模型的队列产品举例 | | Apache Spark / Spark Streaming | 框架 | 124 | 检查点与输入重放恢复的出版时系统示例;未展开内部调度 | | ZooKeeper | 框架 | 110、122 | 保存拓扑与输入位置元数据的协调服务,未展开其共识协议 |

资金安全问题案例
问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
历史快照:初建整书笔记进度

整书笔记已建立全书骨架,并完成译者序、前言、关于本书、致谢和第1章各正文项及第一部分导语的讲解。当前16/128项阅读与章收尾完成;后续112项保持pending。现有53张知识卡(历史41张保留,新增12张),未导入。元数据仅包含已处理17张卡的主要位置与出处,其余36张须随原文章节逐项补齐,不具备全书导入条件。

本轮未执行笔记复核、独立审查及审查结果优化。

历史快照:第2章后计数

本轮22/128个正文项、24个阅读单元已处理;第3章起106项pending。当前64张知识卡:历史41张保留,新增23张;3张旧卡已修订。整书笔记登记31张卡的primary与出处,其余33张尚待后续来源处理。此前16/128、53卡为中途快照,以上述当前计数为准。本轮尚未进行导入、数据库对账或归档。

历史快照:第3章后计数

本轮27/128个正文项、29个阅读单元已处理;第4章起101项pending。当前71张知识卡(41张历史卡、30张新增卡),其中本轮新增结构图卡4张;历史3张卡已修订。整书笔记登记38张卡的primary与出处,剩余33张待后续正文核验。当前未执行导入、对账、归档,实践候选筛选尚未完成。

2026-10-27 逐项续跑快照:ch04-05

实际已处理41/128项;现存83张知识卡;整书笔记53处定位、53条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch06

实际已处理50/128项;现存93张知识卡;整书笔记68处定位、68条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch07

实际已处理56/128项;现存109张知识卡;整书笔记84处定位、84条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch08

实际已处理65/128项;现存118张知识卡;整书笔记96处定位、96条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch09

实际已处理74/128项;现存125张知识卡;整书笔记108处定位、108条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch10-11

实际已处理87/128项;现存136张知识卡;整书笔记122处定位、122条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch12

实际已处理94/128项;现存141张知识卡;整书笔记132处定位、132条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch13-14

实际已处理104/128项;现存151张知识卡;整书笔记147处定位、147条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch15

实际已处理110/128项;现存156张知识卡;整书笔记155处定位、155条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch16

实际已处理117/128项;现存163张知识卡;整书笔记166处定位、166条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch17

实际已处理122/128项;现存168张知识卡;整书笔记172处定位、172条出处。此为生成进度,尚未导入、对账或归档。

2026-10-27 逐项续跑快照:ch18

实际已处理128/128项;现存173张知识卡;整书笔记183处定位、183条出处。此为生成进度,尚未导入、对账或归档。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 致谢与前置正文 done 1
01 大数据的新范式 done 18
02 大数据的数据模型 done 12
03 大数据的数据模型:示例 done 7
04 批处理层的数据存储 done 6
05 批处理层的数据存储:示例 done 9
06 批处理层 done 14
07 批处理层:示例 done 16
08 批处理层示例:架构和算法 done 12
09 批处理层示例:实现 done 7
10 服务层概述 done 11
11 服务层示例:ElephantDB done 4
12 实时视图 done 10
13 实时视图:示例 done 3
14 队列和流处理 done 11
15 队列和流处理:示例 done 5
16 微批量流处理 done 11
17 微批量流处理:示例 done 5
18 深入Lambda架构 done 11

v23 当前生成结果(2026-10-27)

Skill 版本:v23

本次执行规则:book-workflow v4 / book-notes v23;light。

128/128个实质正文项已完整读取,现存173张知识卡(基线41张,累计新增132张),3张实践卡。每张知识卡有唯一主要讲解位置和至少一条核验出处;整书正文在_book_note.md,覆盖在_coverage.md。历史精读/略读、类别检查与旧快照只作历史保留,本轮未据此跳读。

轻量模式未执行生成后的复核、独立审查与审查结果优化。当前待执行导入dry-run、实际导入、逐项对账及归档,不以正文读取完成代替入库完成。

生成收束补充:开篇三指标卡的跳出率分母已按第8章明确为会话,追加原文出处;当前定位183处、原文出处184条,每卡唯一primary不变。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

领域事件与最终一致性

比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。

263 张卡片 · 46 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

模型与实现分离

比较逻辑模型与物理实现、值与变量、派生视图与存储结构之间的边界。

79 张卡片 · 13 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

简单性与复杂度控制

比较区分必要与意外复杂度、删减代码与接口、以简化方案推进工程的做法。

72 张卡片 · 25 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

完整性约束与更新语义

比较键、约束规则与基表/视图更新语义在保证数据正确性上的作用。

45 张卡片 · 6 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

文本压缩与熵编码

比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。

37 张卡片 · 7 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

增量计算:只算变化的那一部分

从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。

27 张卡片 · 5 本书