主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
尚未完成类别清单核对。
_workflow.md),不补写。_workflow.md。四象限结论:经典原理(高信息浓度 + 高稳定性)
评级理由:本书虽然穿插 Hadoop、Storm、Cassandra、Thrift、ElephantDB、Trident 等具体工具,但这些工具主要承担示例作用,核心讨论的是大数据系统的稳定设计原则:用不可变主数据集承载权威事实,用批处理层重算派生视图,用服务层提供低延迟查询,用速度层补齐新鲜度,并持续比较增量计算与重新计算在复杂度、容错、人为错误恢复和资源成本上的权衡。前言和第1章明确反对把 NoSQL 当作万能替代品,第6章集中分析重算算法与增量算法,第12~16章讨论实时增量状态的复杂性,第18章把数据系统抽象为“对已知数据计算函数的查询”。这些内容不依赖某个版本 API,5~10 年后仍可迁移到 Spark、Flink、Kafka、湖仓或现代流处理系统中。
| 章节号 | 章节标题 | 精读/略读 | 状态(pending/done) | 卡片数 |
|---|---|---|---|---|
| 1 | 大数据的新范式 | 精读 | done | 5 |
| 2 | 大数据的数据模型 | 精读 | done | 3 |
| 3 | 大数据的数据模型:示例 | 略读 | done | 0 |
| 4 | 批处理层的数据存储 | 精读 | done | 3 |
| 5 | 批处理层的数据存储:示例 | 略读 | done | 0 |
| 6 | 批处理层 | 精读 | done | 4 |
| 7 | 批处理层:示例 | 略读 | done | 0 |
| 8 | 批处理层示例:架构和算法 | 精读 | done | 3 |
| 9 | 批处理层示例:实现 | 略读 | done | 0 |
| 10 | 服务层概述 | 精读 | done | 4 |
| 11 | 服务层:示例 | 略读 | done | 0 |
| 12 | 实时视图 | 精读 | done | 5 |
| 13 | 实时视图:示例 | 略读 | done | 0 |
| 14 | 队列和流处理 | 精读 | done | 4 |
| 15 | 队列和流处理:示例 | 略读 | done | 0 |
| 16 | 微批量流处理 | 精读 | done | 4 |
| 17 | 微批量流处理:示例 | 略读 | done | 0 |
| 18 | 深入Lambda架构 | 精读 | done | 6 |
.claude/skills/book-notes/category-checklists.md)。| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型 | 已覆盖 | [[CAP只在分区时二选一]](最终一致性定义)、[[三指标张力]] |
| 共识算法 | 未覆盖 | 全书未讨论Paxos/Raft等共识协议,本书聚焦数据建模与批速双层架构而非节点间共识,非漏judgment,如实标注未覆盖 |
| 容错假设 | 已覆盖 | [[Lambda三层]]、[[复杂性来自增量]]、[[原始数据优先]](人为错误容忍) |
| 时钟与顺序问题 | 未覆盖 | 全书未讨论物理/逻辑/向量时钟机制,如实标注未覆盖 |
| 分区处理策略(CAP权衡) | 已覆盖 | 新增[[CAP只在分区时二选一]](原有卡片未覆盖此维度,核对时发现第12章”12.3 增量计算的挑战”专节讲解CAP原理并纠正常见误解,回读原文补生成) |
| 复制与数据分布 | 已覆盖 | [[主数据集需求]]、[[文件系统胜任批量]]、[[垂直分区降成本]] |
| 幂等与重试设计 | 已覆盖 | [[至少一次需幂等]] |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | cardbox重命名孤儿记录诊断 | 真实任务 | done | 06 | ideas/idea-001-cardbox重命名孤儿记录诊断.md;导入前基线已准备 |
| 2 | force重刷提醒机制评估 | 决策实践 | done | 18 | ideas/idea-002-force重刷提醒机制评估.md;计划已交付 |
| 3 | Trident批次状态深读 | 实现深读 | done | 16、17 | ideas/idea-003-Trident批次状态深读.md;固定提交源码及首轮映射已准备 |
实践候选筛选:done
本轮保留并修订前两项计划,新增成熟实现深读。未采用另建Lambda系统、重新实现HyperLogLog或上线队列的候选:当前目标是理解状态与恢复,不需要完整造轮子或生产干预。三卡均为计划交付,后续行动不冒充已经执行。
历史孤儿问题的当前核验:2026-10-27只读基线得到41条已归档卡,路径均存在,9690不在本书当前集合中。原计划保存于本书_work目录的baseline-idea文件,不推断其何时被他人处理。
本书以 Lambda 架构为主线,新建 1 个主题(Lambda 架构与数据系统分层),并把计算范式、一致性与 CAP、存储选型、复杂度等内容并入已有主题;原“CAP 主题索引候选”由已有的 consistency-models 主题承接,不再另建。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 复杂性来自增量 | 已复用 | notes/_topics/simplicity-complexity.md |
| NoSQL不是银弹 | 已复用 | notes/_topics/storage-model-choices.md |
| 数据系统属性 | 已创建 | notes/_topics/lambda-architecture.md |
| Lambda三层 | 已创建 | notes/_topics/lambda-architecture.md |
| 原始数据优先 | 已创建 | notes/_topics/lambda-architecture.md |
| 事实不可变 | 已创建 | notes/_topics/lambda-architecture.md |
| 粒度决定弹性 | 已复用 | notes/_topics/integrity-constraints-update.md |
| 图适合表达关系 | 已复用 | notes/_topics/storage-model-choices.md |
| 主数据集需求 | 已创建 | notes/_topics/lambda-architecture.md |
| 文件系统胜任批量 | 已复用 | notes/_topics/storage-model-choices.md |
| 垂直分区降成本 | 已复用 | notes/_topics/storage-model-choices.md |
| 重算换简单 | 已创建 | notes/_topics/lambda-architecture.md |
| 增量隐藏状态 | 已创建 | notes/_topics/lambda-architecture.md |
| MapReduce抽象 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 管道图思维 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 规范化先于聚合 | 已复用 | notes/_topics/integrity-constraints-update.md |
| 去重是语义问题 | 已复用 | notes/_topics/integrity-constraints-update.md |
| 等价关系会改写历史 | 已复用 | notes/_topics/integrity-constraints-update.md |
| 服务层只服务视图 | 已创建 | notes/_topics/lambda-architecture.md |
| 预计算的取舍 | 已创建 | notes/_topics/lambda-architecture.md |
| 批量替换视图 | 已创建 | notes/_topics/lambda-architecture.md |
| 反范式化有边界 | 已复用 | notes/_topics/integrity-constraints-update.md |
| 速度层补新鲜度 | 已创建 | notes/_topics/lambda-architecture.md |
| 实时视图可过期 | 已创建 | notes/_topics/lambda-architecture.md |
| 同步异步权衡 | 已复用 | notes/_topics/consistency-models.md |
| 增量计算难点 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| CAP只在分区时二选一 | 已复用 | notes/_topics/consistency-models.md |
| 队列解耦速度 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 流是连续批处理 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 至少一次需幂等 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 速度层应少做事 | 已创建 | notes/_topics/lambda-architecture.md |
| 微批量折中 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 批次标识防重复 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 两类Spout定重放边界 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 延迟吞吐互换 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 查询是数据函数 | 已创建 | notes/_topics/lambda-architecture.md |
| 三指标张力 | 已创建 | notes/_topics/lambda-architecture.md |
| 部分重算 | 已创建 | notes/_topics/lambda-architecture.md |
| 多批处理层 | 已创建 | notes/_topics/lambda-architecture.md |
| 批处理追赶线 | 已创建 | notes/_topics/lambda-architecture.md |
| 合并查询逻辑 | 已创建 | notes/_topics/lambda-architecture.md |
执行模式:light
建档进度:done
本轮使用 book-workflow v4 / book-notes v23,保留首次历史版本。原 EPUB 与缓存已逐文件核对一致;历史无覆盖记录,旧章完成状态不代表本轮已读,以下计划与 _coverage.md 为本轮实际进度。整书笔记现已按全部正文完成,导入结果见后述当前状态;旧计数快照仅保留历史。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 004 | 译者序 | done | 0 |
| 005 | 前言 | done | 0 |
| 006 | 关于本书 / 路线图 / 代码下载和约定 / 作者在线 / 关于封面插图 | done | 0 |
| 007 | 致谢 | done | 1 |
| 008 | 第1章 大数据的新范式 | done | 0 |
| 009 | 1.1 本书是如何组织的 | done | 0 |
| 010 | 1.2 扩展传统数据库 / 1.2.1 用队列扩展 / 1.2.2 通过数据库分片进行扩展 / 1.2.3 开始处理容错问题 / 1.2.4 损坏问题 / 1.2.5 到底是哪里出错了 / 1.2.6 大数据技术是如何起到帮助作用的 | done | 4 |
| 011 | 1.3 NoSQL不是万能的 | done | 1 |
| 012 | 1.4 基本原理 | done | 0 |
| 013 | 1.5 大数据系统应有的属性 / 1.5.1 鲁棒性和容错性 / 1.5.2 低延迟读取和更新 / 1.5.3 可扩展性 / 1.5.4 通用性 / 1.5.5 延展性 / 1.5.6 即席查询 / 1.5.7 最少维护 / 1.5.8 可调试性 | done | 4 |
| 014 | 1.6 全增量架构的问题 / 1.6.1 操作复杂性 / 1.6.2 实现最终一致性的极端复杂性 / 1.6.3 缺乏容忍人为错误 / 1.6.4 全增量架构解决方案与Lambda架构解决方案 | done | 2 |
| 015 | 1.7 Lambda架构 / 1.7.1 批处理层 / 1.7.2 服务层 / 1.7.3 批处理层和服务层满足几乎所有属性 / 1.7.4 速度层 | done | 3 |
| 016 | 1.8 技术上的最新趋势 / 1.8.1 CPU并不是越来越快 / 1.8.2 弹性云 / 1.8.3 大数据充满活力的开源生态系统 | done | 3 |
| 017 | 1.9 示例应用:SuperWebAnalytics.com | done | 1 |
| 018 | 1.10 总结 | done | 0 |
| 019 | 第一部分 批处理层 | done | 0 |
| 020 | 第2章 大数据的数据模型 | done | 0 |
| 021 | 2.1 数据的属性 / 2.1.1 数据是原始的 / 2.1.2 数据是不可变的 / 2.1.3 数据是永远真实的 | done | 7 |
| 022 | 2.2 基于事实的数据表示模型 / 2.2.1 事实的示例及属性 / 2.2.2 基于事实的模型的优势 | done | 2 |
| 023 | 2.3 图模式 / 2.3.1 图模式的元素 / 2.3.2 可实施模式的必要性 | done | 2 |
| 024 | 2.4 SuperWebAnalytics.com的完整数据模型 | done | 1 |
| 025 | 2.5 总结 | done | 0 |
| 026 | 第3章 大数据的数据模型:示例 | done | 0 |
| 027 | 3.1 为什么使用序列化框架 | done | 0 |
| 028 | 3.2 Apache Thrift / 3.2.1 节点 / 3.2.2 边 / 3.2.3 属性 / 3.2.4 把一切组合成数据对象 / 3.2.5 模式演变 | done | 5 |
| 029 | 3.3 序列化框架的局限性 | done | 2 |
| 030 | 3.4 总结 | done | 0 |
| 031 | 第4章 批处理层的数据存储 | done | 0 |
| 032 | 4.1 主数据集的存储需求 | done | 1 |
| 033 | 4.2 为批处理层选择存储方案 / 4.2.1 使用键/值存储主数据集 / 4.2.2 分布式文件系统 | done | 1 |
| 034 | 4.3 分布式文件系统是如何工作的 | done | 1 |
| 035 | 4.4 使用分布式文件系统存储主数据集 | done | 1 |
| 036 | 4.5 垂直分区 | done | 1 |
| 037 | 4.6 分布式文件系统的底层性质 | done | 1 |
| 038 | 4.7 在分布式文件系统上存储SuperWebAnalytics.com的主数据集 | done | 0 |
| 039 | 4.8 总结 | done | 0 |
| 040 | 第5章 批处理层的数据存储:示例 | done | 0 |
| 041 | 5.1 使用HDFS / 5.1.1 小文件问题 / 5.1.2 转向更高层次的抽象 | done | 2 |
| 042 | 5.2 使用Pail在批处理层存储数据 / 5.2.1 Pail基本操作 / 5.2.2 序列化对象到Pail中 / 5.2.3 使用Pail进行批处理操作 / 5.2.4 使用Pail进行垂直分区 / 5.2.5 Pail文件格式与压缩 / 5.2.6 Pail优点的总结 | done | 5 |
| 043 | 5.3 存储SuperWebAnalytics.com的主数据集 / 5.3.1 Thrift对象的结构化Pail / 5.3.2 SuperWebAnalytics.com的基础Pail / 5.3.3 用于垂直分区数据集的分片Pail | done | 2 |
| 044 | 5.4 总结 | done | 0 |
| 045 | 第6章 批处理层 | done | 0 |
| 046 | 6.1 启发性示例 / 6.1.1 给定时间范围内的页面浏览量 / 6.1.2 性别推理 / 6.1.3 影响力分数 | done | 2 |
| 047 | 6.2 批处理层上的计算 | done | 1 |
| 048 | 6.3 重新计算算法与增量算法 / 6.3.1 性能 / 6.3.2 容忍人为错误 / 6.3.3 算法的通用性 / 6.3.4 选择算法的风格 | done | 3 |
| 049 | 6.4 批处理层中的可扩展性 | done | 1 |
| 050 | 6.5 MapReduce:一种大数据计算的范式 / 6.5.1 可扩展性 / 6.5.2 容错性 / 6.5.3 MapReduce的通用性 | done | 3 |
| 051 | 6.6 MapReduce的底层特性 / 6.6.1 多步计算很怪异 / 6.6.2 手动实现连接非常复杂 / 6.6.3 逻辑和物理执行紧密耦合 | done | 1 |
| 052 | 6.7 管道图——一种关于批处理计算的高级思维方式 / 6.7.1 管道图的概念 / 6.7.2 通过MapReduce执行管道图 / 6.7.3 合并聚合器 / 6.7.4 管道图示例 | done | 4 |
| 053 | 6.8 总结 | done | 0 |
| 054 | 第7章 批处理层:示例 | done | 0 |
| 055 | 7.1 一个例证 | done | 1 |
| 056 | 7.2 数据处理工具的常见陷阱 / 7.2.1 自定义语言 / 7.2.2 不良的可组合抽象 | done | 2 |
| 057 | 7.3 JCascalog介绍 / 7.3.1 JCascalog的数据模型 / 7.3.2 JCascalog查询的结构 / 7.3.3 查询多个数据集 / 7.3.4 分组和聚合器 / 7.3.5 对一个查询示例进行单步调试 / 7.3.6 自定义谓词操作 | done | 7 |
| 058 | 7.4 组合 / 7.4.1 合并子查询 / 7.4.2 动态创建子查询 / 7.4.3 谓词宏 / 7.4.4 动态创建谓词宏 | done | 6 |
| 059 | 7.5 总结 | done | 0 |
| 060 | 第8章 批处理层示例:架构和算法 | done | 0 |
| 061 | 8.1 SuperWebAnalytics.com批处理层的设计 / 8.1.1 所支持的查询 / 8.1.2 批处理视图 | done | 3 |
| 062 | 8.2 工作流概述 | done | 0 |
| 063 | 8.3 获取新数据 | done | 1 |
| 064 | 8.4 URL规范化 | done | 1 |
| 065 | 8.5 用户标识符规范化 | done | 5 |
| 066 | 8.6 页面浏览去重 | done | 1 |
| 067 | 8.7 计算批处理视图 / 8.7.1 给定时间范围内的页面浏览量 / 8.7.2 给定时间范围内的独立访客 / 8.7.3 跳出率分析 | done | 1 |
| 068 | 8.8 总结 | done | 0 |
| 069 | 第9章 批处理层示例:实现 | done | 0 |
| 070 | 9.1 出发点 | done | 0 |
| 071 | 9.2 准备工作流 | done | 1 |
| 072 | 9.3 获取新数据 | done | 3 |
| 073 | 9.4 URL规范化 | done | 1 |
| 074 | 9.5 用户标识符规范化 | done | 0 |
| 075 | 9.6 页面浏览去重 | done | 0 |
| 076 | 9.7 计算批处理视图 / 9.7.1 给定时间范围内的页面浏览量 / 9.7.2 给定时间范围内的独立访客 / 9.7.3 跳出率分析 | done | 2 |
| 077 | 9.8 总结 | done | 0 |
| 078 | 第二部分 服务层 | done | 0 |
| 079 | 第10章 服务层概述 | done | 0 |
| 080 | 10.1 服务层的性能指标 | done | 2 |
| 081 | 10.2 规范化/非规范化问题的服务层解决方案 | done | 1 |
| 082 | 10.3 服务层数据库的需求 | done | 2 |
| 083 | 10.4 设计SuperWebAnalytics.com的服务层 / 10.4.1 给定时间范围内的页面浏览量 / 10.4.2 随着时间推移的独立访客 / 10.4.3 跳出率分析 | done | 2 |
| 084 | 10.5 对比全增量的解决方案 / 10.5.1 随着时间推移的独立访客的全增量方案 / 10.5.2 与Lambda架构解决方案的比较 | done | 3 |
| 085 | 10.6 总结 | done | 0 |
| 086 | 第11章 服务层:示例 | done | 0 |
| 087 | 11.1 ElephantDB的基本概念 / 11.1.1 ElephantDB中的视图创建 / 11.1.2 ElephantDB中的视图服务 / 11.1.3 使用ElephantDB | done | 2 |
| 088 | 11.2 创建SuperWebAnalytics.com的服务层 / 11.2.1 给定时间范围内的页面浏览量 / 11.2.2 给定时间范围内的独立访客数量 / 11.2.3 跳出率分析 | done | 2 |
| 089 | 11.3 总结 | done | 0 |
| 090 | 第三部分 速度层 | done | 0 |
| 091 | 第12章 实时视图 | done | 0 |
| 092 | 12.1 计算实时视图 | done | 2 |
| 093 | 12.2 存储实时视图 / 12.2.1 最终一致性 / 12.2.2 速度层中存储的状态总量 | done | 1 |
| 094 | 12.3 增量计算的挑战 / 12.3.1 CAP原理的有效性 / 12.3.2 CAP原理和增量算法之间复杂的相互作用 | done | 3 |
| 095 | 12.4 异步更新与同步更新 | done | 1 |
| 096 | 12.5 过期实时视图 | done | 3 |
| 097 | 12.6 总结 | done | 0 |
| 098 | 第13章 实时视图:示例 | done | 0 |
| 099 | 13.1 Cassandra的数据模型 | done | 1 |
| 100 | 13.2 使用Cassandra / Cassandra的高级特性 | done | 2 |
| 101 | 13.3 总结 | done | 0 |
| 102 | 第14章 队列和流处理 | done | 0 |
| 103 | 14.1 队列 / 14.1.1 单消费者队列 / 14.1.2 多消费者队列 | done | 3 |
| 104 | 14.2 流处理 / 14.2.1 队列和工作节点 / 14.2.2 队列和工作节点的缺陷 | done | 2 |
| 105 | 14.3 更高层次的一次一个的流处理 / 14.3.1 Storm模型 / 14.3.2 保证消息处理 | done | 3 |
| 106 | 14.4 SuperWebAnalytics.com速度层 / 拓扑结构 | done | 2 |
| 107 | 14.5 总结 | done | 1 |
| 108 | 第15章 队列和流处理:示例 | done | 0 |
| 109 | 15.1 使用Apache Storm定义拓扑结构 | done | 0 |
| 110 | 15.2 Apache Storm集群及其部署 | done | 2 |
| 111 | 15.3 保证消息处理 | done | 2 |
| 112 | 15.4 实现SuperWebAnalytics.com给定时间范围内的独立访客的速度层 | done | 1 |
| 113 | 15.5 总结 | done | 0 |
| 114 | 第16章 微批量流处理 | done | 1 |
| 115 | 16.1 实现有且仅有一次语义 / 16.1.1 强有序处理 / 16.1.2 微批量流处理 / 16.1.3 微批量流处理的拓扑结构 | done | 2 |
| 116 | 16.2 微批量流处理的核心概念 | done | 3 |
| 117 | 16.3 微批量流处理的扩展管道图 | done | 1 |
| 118 | 16.4 完成SuperWebAnalytics.com的速度层 / 16.4.1 给定时间范围内的页面浏览量 / 16.4.2 跳出率分析 | done | 3 |
| 119 | 16.5 另一个跳出率分析示例 | done | 1 |
| 120 | 16.6 总结 | done | 0 |
| 121 | 第17章 微批量流处理:示例 | done | 0 |
| 122 | 17.1 使用Trident | done | 1 |
| 123 | 17.2 完成SuperWebAnalytics.com的速度层 / 17.2.1 给定时间范围内的页面浏览量 / 17.2.2 跳出率分析 | done | 2 |
| 124 | 17.3 完全容错、基于内存及微批量处理 | done | 2 |
| 125 | 17.4 总结 | done | 0 |
| 126 | 第18章 深入Lambda架构 | done | 0 |
| 127 | 18.1 定义数据系统 | done | 2 |
| 128 | 18.2 批处理层和服务层 / 18.2.1 增量的批处理 / 18.2.2 测量和优化批处理层的资源使用 | done | 8 |
| 129 | 18.3 速度层 | done | 0 |
| 130 | 18.4 查询层 | done | 1 |
| 131 | 18.5 总结 | done | 0 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 001 titlepage.xhtml | 封面 | 仅封面元信息及图像,无实质论述 |
| 002 OEBPS/Text/001.xhtml | 扉页 | 原书封面图,已查看,仅书名、作者与出版标识,无实质论述 |
| 003 OEBPS/Text/002.xhtml | 版权页 | 仅书名、作者、出版社、出版日期及ISBN;出版信息另用于整书笔记元数据 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| RDBMS | 004、008、011 | 译者序、导读和工具比较提及传统关系数据库背景 |
| Thrift | 004、006、009 | 阅读范围与示例工具,具体机制后文展开 |
| HBase | 004、008、016 | 大数据生态与读写存储示例,后续按实际展开处理 |
| Clojure | 004、007 | 作者经历与致谢提及语言及其简洁性理念,未展开语言机制 |
| Datalog | 007 | 致谢提及Cascalog的来源,未展开语义 |
| 分布式锁服务 | 008 | 大数据先驱项目的背景举例,未解释机制 |
| HyperLogLog | 014、015 | 作为独立计数近似算法示例,仅说明用途,算法后文展开 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Big-Data-Manning | 源码项目 | 006 | 本书提供的示例代码仓库,未核验当前在线状态 |
| MapReduce原始论文 | 论文 | 007 | 致谢Jeffrey Dean与Sanjay Ghemawat |
| Dynamo原始论文 | 论文 | 007 | 致谢论文作者,未展开论文机制 |
| Apache Hadoop | 源码项目 | 004、007、008、009 | 译者序、致谢及导读提及;1.8另按工具角色解释 |
| Cascalog | 源码项目 | 007 | 致谢描述Datalog与MapReduce结合的项目来源 |
| Cascading | 框架 | 007 | 致谢提及其对作者理解大规模计算的影响 |
| Protocol Buffers | 框架 | 016 | 序列化框架举例,未展开专属机制 |
| Avro | 框架 | 016 | 序列化框架举例,未展开专属机制 |
| Voldemort | 源码项目 | 016 | NoSQL产品列表,只提名 |
| Riak | 源码项目 | 008、016 | NoSQL产品列表,只提名 |
| CouchDB | 源码项目 | 016 | NoSQL产品列表,只提名 |
| MongoDB | 源码项目 | 008、016 | NoSQL产品列表,只提名 |
| Apache Kafka | 源码项目 | 016 | 消息队列角色的工具举例,未展开内部实现 |
| Apache Storm | 源码项目 | 004、006、009、016 | 实时计算角色与后文示例,未在此展开执行模型 |
| Hector | 框架 | 100 | 旧版Cassandra Java客户端示例入口,未展开客户端内部实现 | | BerkeleyDB | 框架 | 087、128 | 离线分片本地索引引擎示例,未展开B树机制 | | ElasticSearch | 框架 | 093 | 全文搜索型实时索引的工具举例 | | Memcached | 框架 | 096、122 | TTL对比及状态后端举例,未展开实现 | | Kestrel | 框架 | 103、105 | 队列与Spout来源举例,专属实现未展开 | | RabbitMQ | 框架 | 103 | 单消费者接口模型的队列产品举例 | | Apache Spark / Spark Streaming | 框架 | 124 | 检查点与输入重放恢复的出版时系统示例;未展开内部调度 | | ZooKeeper | 框架 | 110、122 | 保存拓扑与输入位置元数据的协调服务,未展开其共识协议 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
整书笔记已建立全书骨架,并完成译者序、前言、关于本书、致谢和第1章各正文项及第一部分导语的讲解。当前16/128项阅读与章收尾完成;后续112项保持pending。现有53张知识卡(历史41张保留,新增12张),未导入。元数据仅包含已处理17张卡的主要位置与出处,其余36张须随原文章节逐项补齐,不具备全书导入条件。
本轮未执行笔记复核、独立审查及审查结果优化。
本轮22/128个正文项、24个阅读单元已处理;第3章起106项pending。当前64张知识卡:历史41张保留,新增23张;3张旧卡已修订。整书笔记登记31张卡的primary与出处,其余33张尚待后续来源处理。此前16/128、53卡为中途快照,以上述当前计数为准。本轮尚未进行导入、数据库对账或归档。
本轮27/128个正文项、29个阅读单元已处理;第4章起101项pending。当前71张知识卡(41张历史卡、30张新增卡),其中本轮新增结构图卡4张;历史3张卡已修订。整书笔记登记38张卡的primary与出处,剩余33张待后续正文核验。当前未执行导入、对账、归档,实践候选筛选尚未完成。
实际已处理41/128项;现存83张知识卡;整书笔记53处定位、53条出处。此为生成进度,尚未导入、对账或归档。
实际已处理50/128项;现存93张知识卡;整书笔记68处定位、68条出处。此为生成进度,尚未导入、对账或归档。
实际已处理56/128项;现存109张知识卡;整书笔记84处定位、84条出处。此为生成进度,尚未导入、对账或归档。
实际已处理65/128项;现存118张知识卡;整书笔记96处定位、96条出处。此为生成进度,尚未导入、对账或归档。
实际已处理74/128项;现存125张知识卡;整书笔记108处定位、108条出处。此为生成进度,尚未导入、对账或归档。
实际已处理87/128项;现存136张知识卡;整书笔记122处定位、122条出处。此为生成进度,尚未导入、对账或归档。
实际已处理94/128项;现存141张知识卡;整书笔记132处定位、132条出处。此为生成进度,尚未导入、对账或归档。
实际已处理104/128项;现存151张知识卡;整书笔记147处定位、147条出处。此为生成进度,尚未导入、对账或归档。
实际已处理110/128项;现存156张知识卡;整书笔记155处定位、155条出处。此为生成进度,尚未导入、对账或归档。
实际已处理117/128项;现存163张知识卡;整书笔记166处定位、166条出处。此为生成进度,尚未导入、对账或归档。
实际已处理122/128项;现存168张知识卡;整书笔记172处定位、172条出处。此为生成进度,尚未导入、对账或归档。
实际已处理128/128项;现存173张知识卡;整书笔记183处定位、183条出处。此为生成进度,尚未导入、对账或归档。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 致谢与前置正文 | done | 1 |
| 01 | 大数据的新范式 | done | 18 |
| 02 | 大数据的数据模型 | done | 12 |
| 03 | 大数据的数据模型:示例 | done | 7 |
| 04 | 批处理层的数据存储 | done | 6 |
| 05 | 批处理层的数据存储:示例 | done | 9 |
| 06 | 批处理层 | done | 14 |
| 07 | 批处理层:示例 | done | 16 |
| 08 | 批处理层示例:架构和算法 | done | 12 |
| 09 | 批处理层示例:实现 | done | 7 |
| 10 | 服务层概述 | done | 11 |
| 11 | 服务层示例:ElephantDB | done | 4 |
| 12 | 实时视图 | done | 10 |
| 13 | 实时视图:示例 | done | 3 |
| 14 | 队列和流处理 | done | 11 |
| 15 | 队列和流处理:示例 | done | 5 |
| 16 | 微批量流处理 | done | 11 |
| 17 | 微批量流处理:示例 | done | 5 |
| 18 | 深入Lambda架构 | done | 11 |
Skill 版本:v23
本次执行规则:book-workflow v4 / book-notes v23;light。
128/128个实质正文项已完整读取,现存173张知识卡(基线41张,累计新增132张),3张实践卡。每张知识卡有唯一主要讲解位置和至少一条核验出处;整书正文在_book_note.md,覆盖在_coverage.md。历史精读/略读、类别检查与旧快照只作历史保留,本轮未据此跳读。
轻量模式未执行生成后的复核、独立审查与审查结果优化。当前待执行导入dry-run、实际导入、逐项对账及归档,不以正文读取完成代替入库完成。
生成收束补充:开篇三指标卡的跳出率分母已按第8章明确为会话,追加原文出处;当前定位183处、原文出处184条,每卡唯一primary不变。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较逻辑模型与物理实现、值与变量、派生视图与存储结构之间的边界。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
比较区分必要与意外复杂度、删减代码与接口、以简化方案推进工程的做法。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
比较键、约束规则与基表/视图更新语义在保证数据正确性上的作用。
主题索引
比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。
主题索引
比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
主题索引
以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。
主题索引
从全量重算转向增量维护:变化怎样传播、结果缓存与复用条件、物化视图的维护成本、Percolator 式快照与提交、观察通知与传播阈值,以及省计算为什么不等于省延迟。