主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
尚未完成类别清单核对。
Skill 版本:v7
_workflow.md。作者:Martin Kleppmann;译者:冯若航(社区中文译本,原名《Designing Data-Intensive Applications》)
执行模式:light
建档进度:done
整书笔记:_book_note.md(schema 1;SHA-256 cd4429f2dbeeeda8f002d8be4973986c449d57d288f8afcae9cc7b4b928e9afc)
四象限结论:经典原理(高信息浓度 + 高稳定性)
评级理由:
信息浓度极高:全书系统讲解数据系统设计决策背后的“为什么”,而不是任何产品的操作手册——区分故障与失效、用百分位衡量响应时间、写时扇出与读时聚合的权衡、LSM 树与 B 树的取舍、复制延迟引起的三种异常、弱隔离级别下的丢失更新与写偏差、线性一致与因果一致的区别、共识与原子提交的等价关系、用确定性衍生函数和端到端请求 ID 维护正确性,每个结论都有完整的推理和反例。
稳定性很高:书中援引 Kafka、Cassandra、PostgreSQL、Hadoop、Spark 等系统作为例证,具体功能会随版本变化,但复制、分区、事务、一致性、批流处理这些问题及其权衡长期成立;第 12 章明确为作者观点和推测,数据伦理部分的论述也不依赖具体技术。
类别:分布式系统类
内容形态:概念解析型 + 案例型(含资金安全相关的并发与幂等案例)。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00-简介 | 简介 | done | 0 |
| 00-序言 | 序言 | done | 0 |
| P1 | 第一部分:数据系统的基石 | done | 0 |
| 01 | 第一章:可靠性、可伸缩性、可维护性 | done | 11 |
| 02 | 第二章:数据模型与查询语言 | done | 13 |
| 03 | 第三章:存储与检索 | done | 16 |
| 04 | 第四章:编码与演化 | done | 12 |
| P2 | 第二部分:分布式数据 | done | 1 |
| 05 | 第五章:复制 | done | 14 |
| 06 | 第六章:分区 | done | 8 |
| 07 | 第七章:事务 | done | 18 |
| 08 | 第八章:分布式系统的麻烦 | done | 15 |
| 09 | 第九章:一致性与共识 | done | 22 |
| P3 | 第三部分:衍生数据 | done | 1 |
| 10 | 第十章:批处理 | done | 16 |
| 11 | 第十一章:流处理 | done | 21 |
| 12 | 第十二章:数据系统的未来 | done | 26 |
| G | 术语表 | done | 0 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 / titlepage.xhtml | 封面 | 仅封面 |
| 1 / SUMMARY.html | 目录/导航 | 纯目录或章节索引导航 |
| 2 / index_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 6 / index_split_004.html | 目录/导航 | 纯目录或章节索引导航 |
| 7 / index_split_005.html | 法律声明 | 译本授权与使用限制说明 |
| 8 / index_split_006.html | 贡献者名单 | 译本校订与贡献名单 |
| 9 / index_split_007.html | 协议 | CC-BY 4.0 协议声明 |
| 10 / preface_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 15 / preface_split_005.html | 参考文献说明 | 说明参考文献与延伸阅读的获取方式 |
| 16 / preface_split_006.html | 出版平台说明 | O’Reilly Safari 平台介绍 |
| 18 / part-i_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 20 / part-i_split_002.html | 目录/导航 | 纯目录或章节索引导航 |
| 21 / ch1_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 28 / ch1_split_007.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 29 / ch2_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 35 / ch2_split_006.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 36 / ch3_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 42 / ch3_split_006.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 43 / ch4_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 48 / ch4_split_005.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 49 / part-ii_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 52 / part-ii_split_003.html | 目录/导航 | 纯目录或章节索引导航 |
| 53 / part-ii_split_004.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 54 / ch5_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 61 / ch5_split_007.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 62 / ch6_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 70 / ch6_split_008.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 71 / ch7_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 77 / ch7_split_006.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 78 / ch8_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 85 / ch8_split_007.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 86 / ch9_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 93 / ch9_split_007.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 94 / part-iii_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 98 / part-iii_split_004.html | 目录/导航 | 纯目录或章节索引导航 |
| 99 / ch10_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 105 / ch10_split_006.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 106 / ch11_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 112 / ch11_split_006.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 113 / ch12_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 120 / ch12_split_007.html | 参考文献 | 该章文献列表,正文引用已在卡片中按需说明 |
| 121 / glossary_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 123 / colophon_split_000.html | 章节标题页 | 仅有章节或部分标题 |
| 124 / colophon_split_001.html | 后记 | 作者与译者简介、封面动物说明 |
| 125 / colophon_split_002.html | 后记 | 作者与译者简介、封面动物说明 |
| 126 / colophon_split_003.html | 后记 | 作者与译者简介、封面动物说明 |
| 术语名 | 出现章节 | 一句话语境 |
|---|
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| idea-001 | etcd-raft库源码深读:映射书中共识机制 | 实现深读 | done | 第9章 | 阅读单元对照表+状态转移图规划 |
| idea-002 | Raft、Paxos、ZAB三种共识算法横向比较 | 横向学习 | done | 第9章 | 九维度对照表规划 |
| idea-003 | Kafka日志压缩实现深读:映射书中CDC机制 | 实现深读 | done | 第11章 | 阅读单元对照表+差异清单规划 |
| idea-004 | Jepsen真实故障报告观察:线性一致性声明的实际失效 | 真实任务 | done | 第8/9/12章 | 案例对照笔记规划 |
实践候选筛选:done
本次升级复用 4 张旧实践卡,未新增。未采用候选:为 cardbox 导入流程设计端到端请求 ID(现有导入是本地单进程、可整体重跑,没有跨网络重试场景);用百分位监控批次处理耗时(批次数量少,统计意义不足);把批次日志改造成事件溯源(现有放行清单与对账记录已满足审计需要)。
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 转账中途读取偏差 | [[转账中途读到余额凭空减少]] | [[快照隔离与MVCC]] | 07 | 读已提交下转账进行中读到两个账户不同时间点的余额,总额少了100美元;备份与完整性检查不能容忍 |
| 余额读改写丢失更新 | [[并发读改写余额丢失更新]] | [[防丢失更新四手段]] | 07 | 两个事务对同一余额读取-修改-写入,一次修改被静默覆盖 |
| 双重开支使余额为负 | [[并发消费插入导致余额为负]] | [[可串行化三条路径]] | 07 | 两笔消费各自检查余额后插入,写偏差使余额变负,快照隔离不能防止 |
| 断线重试重复转账 | [[断线重试导致重复转账]] | [[端到端原则与幂等]] | 12 | COMMIT 后连接超时重试非幂等转账,可能转出两倍金额 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型 | 已覆盖 | 线性一致性的定义;线性一致与可串行化;因果顺序是偏序;及时性与完整性 |
| 共识算法 | 已覆盖 | 共识与FLP;纪元编号与法定人数;ZooKeeper的用途 |
| 容错假设 | 已覆盖 | 拜占庭容错的边界;系统模型 |
| 时钟与顺序问题 | 已覆盖 | 日历时钟与单调钟;时钟读数是置信区间;非因果序列号生成器;兰伯特时间戳 |
| 分区处理策略(CAP权衡) | 已覆盖 | CAP的狭窄含义;线性一致的延迟代价 |
| 复制与数据分布 | 已覆盖 | 复制的三种架构;哈希分区与复合键;二级索引分区 |
| 幂等与重试设计 | 已覆盖 | 流处理的恰好一次;端到端原则与幂等;日志实现唯一性约束 |
本书覆盖数据系统的存储、复制、分区、事务、一致性与批流处理;卡片主要并入已有的存储模型、存储数据结构、复制、分片、事务、一致性、共识、批流计算与 Lambda 架构等主题,新建消息代理与事件日志、故障与分布式时钟、数据流与分拆数据库、数据伦理与隐私 4 个主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 故障不同于失效 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 主动触发故障 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 三类故障来源 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 响应时间不等于延迟 | 已复用 | notes/_topics/slo-error-budget.md |
| 百分位与尾部延迟 | 已复用 | notes/_topics/slo-error-budget.md |
| 推特时间线的扇出 | 已复用 | notes/_topics/scalability-dimensions.md |
| 可伸缩架构依负载假设 | 已复用 | notes/_topics/scalability-dimensions.md |
| 伸缩的两个维度 | 已复用 | notes/_topics/scalability-dimensions.md |
| 可维护性三支柱 | 已复用 | notes/_topics/software-quality-tradeoffs.md |
| 数据模型分层抽象 | 已复用 | notes/_topics/storage-model-choices.md |
| 阻抗不匹配与局部性 | 已复用 | notes/_topics/storage-model-choices.md |
| 用ID实现规范化 | 已复用 | notes/_topics/storage-model-choices.md |
| 关系模型胜在优化器 | 已复用 | notes/_topics/storage-model-choices.md |
| 声明式查询的三个优点 | 已复用 | notes/_topics/storage-model-choices.md |
| 读时模式与写时模式 | 已复用 | notes/_topics/storage-model-choices.md |
| 属性图模型 | 已复用 | notes/_topics/storage-model-choices.md |
| 变长路径查询的差距 | 已复用 | notes/_topics/storage-model-choices.md |
| 图数据库不是CODASYL | 已复用 | notes/_topics/storage-model-choices.md |
| MapReduce居于中间 | 已复用 | notes/_topics/storage-model-choices.md |
| Datalog的可组合规则 | 已复用 | notes/_topics/storage-model-choices.md |
| 索引以写入换读取 | 已复用 | notes/_topics/storage-data-structures.md |
| 哈希索引与段压缩 | 已复用 | notes/_topics/storage-data-structures.md |
| SSTable的排序收益 | 已复用 | notes/_topics/storage-data-structures.md |
| LSM树与预写日志 | 已复用 | notes/_topics/storage-data-structures.md、notes/_topics/transaction-recovery-logging.md |
| 布隆过滤器省磁盘读 | 已复用 | notes/_topics/storage-data-structures.md |
| B树与页面结构 | 已复用 | notes/_topics/storage-data-structures.md |
| B树与LSM树的权衡 | 已复用 | notes/_topics/storage-data-structures.md |
| 堆文件聚簇与覆盖索引 | 已复用 | notes/_topics/storage-data-structures.md |
| 多列查询与多维索引 | 已复用 | notes/_topics/storage-data-structures.md |
| OLTP与OLAP的差异 | 已复用 | notes/_topics/storage-model-choices.md |
| 星型模式 | 已复用 | notes/_topics/storage-model-choices.md |
| 列式存储 | 已复用 | notes/_topics/storage-model-choices.md |
| 物化视图与数据立方体 | 已复用 | notes/_topics/storage-model-choices.md |
| 兼容要向前也向后 | 已复用 | notes/_topics/data-interchange-formats.md |
| 语言内置序列化三问题 | 已复用 | notes/_topics/data-interchange-formats.md |
| JSON数值的精度陷阱 | 已复用 | notes/_topics/data-interchange-formats.md |
| 字段标签号与模式演变 | 已复用 | notes/_topics/data-interchange-formats.md |
| Avro的读写模式匹配 | 已复用 | notes/_topics/data-interchange-formats.md |
| 模式即永不过时的文档 | 已复用 | notes/_topics/data-interchange-formats.md |
| 数据活得比代码久 | 已复用 | notes/_topics/data-interchange-formats.md |
| RPC的根本缺陷 | 已复用 | notes/_topics/rpc-rest-api.md |
| 消息代理的可靠性 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 复制的三种架构 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 同步与异步复制 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 复制日志四种实现 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 故障切换三重风险 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 复制延迟三种异常 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 多主复制适用场景 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 写冲突与收敛策略 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 多主复制拓扑 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 无主复制与法定人数 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 法定人数的边缘陷阱 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 并发与版本向量 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/consistency-models.md |
| 分区目标是均匀 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 键范围分区 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 哈希分区与复合键 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 单键热点靠应用拆分 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 二级索引分区 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 分区再平衡策略 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 自动再平衡的风险 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 请求路由 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 原子性即可中止性 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 一致性属于应用 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 多对象事务的必要性 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 重试的四个局限 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 读已提交的实现 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 快照隔离与MVCC | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 可重复读名不副实 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 防丢失更新四手段 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 写偏差 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 幻读与物化冲突 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 可串行化三条路径 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 谓词锁与索引范围锁 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 可串行化快照隔离 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| 部分失效的不确定性 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 网络故障无法区分 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 超时设置的两难 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 网络延迟源于排队 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 日历时钟与单调钟 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| LWW因时钟丢更新 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 时钟读数是置信区间 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 进程暂停与租约 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 防护令牌 | 已创建 | notes/_topics/faults-partial-failure-clocks.md、notes/_topics/distributed-consensus.md |
| 拜占庭容错的边界 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 系统模型 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 安全性与活性 | 已创建 | notes/_topics/faults-partial-failure-clocks.md |
| 线性一致性的定义 | 已复用 | notes/_topics/consistency-models.md |
| 线性一致与可串行化 | 已复用 | notes/_topics/consistency-models.md |
| 需要线性一致的场景 | 已复用 | notes/_topics/consistency-models.md |
| 复制方式与线性一致 | 已复用 | notes/_topics/consistency-models.md |
| CAP的狭窄含义 | 已复用 | notes/_topics/consistency-models.md |
| 线性一致的延迟代价 | 已复用 | notes/_topics/consistency-models.md |
| 因果顺序是偏序 | 已复用 | notes/_topics/consistency-models.md |
| 捕获因果依赖 | 已复用 | notes/_topics/consistency-models.md |
| 非因果序列号生成器 | 已复用 | notes/_topics/consistency-models.md |
| 兰伯特时间戳 | 已复用 | notes/_topics/consistency-models.md |
| 全序需要尘埃落定 | 已复用 | notes/_topics/consistency-models.md |
| 全序广播 | 已复用 | notes/_topics/distributed-consensus.md |
| 全序广播与线性存储 | 已复用 | notes/_topics/distributed-consensus.md |
| 原子提交与2PC | 已复用 | notes/_topics/distributed-transactions.md |
| 2PC协调者失效 | 已复用 | notes/_topics/distributed-transactions.md |
| 内部事务与XA事务 | 已复用 | notes/_topics/distributed-transactions.md |
| 共识与FLP | 已复用 | notes/_topics/distributed-consensus.md |
| 纪元编号与法定人数 | 已复用 | notes/_topics/distributed-consensus.md |
| 共识算法的代价 | 已复用 | notes/_topics/distributed-consensus.md |
| ZooKeeper的用途 | 已复用 | notes/_topics/distributed-consensus.md |
| 服务批处理与流处理 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 排序与内存聚合 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Unix哲学三原则 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| HDFS与计算贴近数据 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| MapReduce执行模型 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 排序合并连接 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 连接中的热键补偿 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Map侧连接三变体 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 不可变输出与人类容错 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 读时模式与数据湖 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 任意代码与声明式查询 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| MapReduce为抢占而设计 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 数据流引擎的算子 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 谱系重算与确定性 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Pregel图批处理 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 无界输入的连锁反应 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 消息系统的设计选择 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 直接消息传递的局限 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 消息代理与数据库 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 负载均衡与扇出 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 基于日志的消息代理 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 消费者偏移量 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 重播旧消息 | 已创建 | notes/_topics/message-brokers-event-logs.md |
| 双写的竞态条件 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 变更数据捕获 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 事件溯源与CDC | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 状态与流 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 不变性的局限 | 已复用 | notes/_topics/domain-events-eventual-consistency.md |
| 流处理的四种用途 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 事件时间与处理时间 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 窗口何时准备好 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 窗口的四种类型 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 三种流连接 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 流处理的恰好一次 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| 没有万能数据工具 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 日志集成优于分布式事务 | 已复用 | notes/_topics/distributed-transactions.md |
| 全序广播的伸缩限制 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 捕获因果的排序 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 批流统一与函数式 | 已复用 | notes/_topics/lambda-architecture.md |
| 渐进式演化 | 已复用 | notes/_topics/lambda-architecture.md |
| Lambda架构的问题 | 已复用 | notes/_topics/lambda-architecture.md |
| 统一批流的三项能力 | 已复用 | notes/_topics/lambda-architecture.md |
| Unix与关系数据库 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 联合与分拆数据库 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 分拆追求广度 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 应用代码即衍生函数 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 围绕数据流构建应用 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 写路径与读路径 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 有状态离线客户端 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 读也是事件 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 端到端原则与幂等 | 已创建 | notes/_topics/dataflow-unbundled-databases.md、notes/_topics/distributed-transactions.md |
| 日志实现唯一性约束 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 及时性与完整性 | 已创建 | notes/_topics/dataflow-unbundled-databases.md、notes/_topics/consistency-models.md |
| 宽松地解释约束 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 信任但验证 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 为可审计性而设计 | 已创建 | notes/_topics/dataflow-unbundled-databases.md |
| 算法监狱与反馈循环 | 已创建 | notes/_topics/data-ethics-privacy.md |
| 监视与隐私转移 | 已创建 | notes/_topics/data-ethics-privacy.md |
| 数据是信息时代污染 | 已创建 | notes/_topics/data-ethics-privacy.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较领域事件、消息中间件、事件总线与数据对账在跨聚合、跨服务一致性上的做法与取舍。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较如何定义 SLI/SLO/SLA、设定可靠性目标,以及用错误预算平衡稳定性与变更速度。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
比较内部与外部质量、多准则权衡以及“先满足当前需求”在不同质量目标之间的取舍方法。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。
主题索引
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。
主题索引
以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。
主题索引
比较预测性分析的偏见与问责、监视式数据收集与隐私决定权,以及数据保护的立法与行业自律。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。