主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
5/6
Skill 版本:未记录
类别:系统架构类
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 Redis 3.0、MongoDB 3.0、HBase 1.0、ES 2.x、Kafka 0.9 等版本细节以出版时为准;个别当时的判断(如 Spark 构建在 Hadoop 之上)已不符合现状,卡片未采用。
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由: 这本书的有效内容不只是工具罗列,而是围绕分布式实时计算链路展开工程设计:第1章比较 Hadoop 离线批处理、Spark Streaming Mini-Batch 与 Storm 事件流;第3章用 CN/AN/JN 拆分说明自研实时计算框架如何收集、聚合、调度和计算;第4章讨论 MQ 在解耦、削峰、异步处理和最终一致性中的位置;第8章把微服务通信、服务雪崩、熔断、隔离、限流放到分布式系统治理语境中;第9章用新闻推荐用户画像近实时更新串起埋点、MQ、实时计算、画像与推荐服务闭环。
但全书大量内容绑定具体版本和当时的产品实践,例如 Redis3.0、MongoDB3.0、HBase1.0、ElasticSearch2.x、KafkaOffsetMonitor、Dubbo/Dubbox、具体部署命令与 Java 客户端 API。这些材料在今天已经明显具有时效性。因此它更适合作为“工程实践”来读:保留架构权衡、数据流设计和故障治理思想,弱化具体版本操作细节。
| 章节号 | 章节标题 | 精读/略读 | 理由 | 状态 | 卡片数 |
|---|---|---|---|---|---|
| 1 | 分布式实时计算框架介绍 | 精读 | 介绍离线批处理、实时计算、Mini-Batch、Storm 拓扑和自研动机,是理解全书架构取舍的入口。 | done | 4 |
| 2 | light_drtc简介及使用说明 | 略读 | 主要是代码结构、配置项和部署使用说明,操作性强,稳定知识密度较低。 | done | 0 |
| 3 | light_drtc核心技术实现 | 精读 | 集中讲 CN/AN/JN、哈希分发、多主调度、任务排队和故障补救,是本书最高浓度章节。 | done | 6 |
| 4 | 消息队列MQ | 精读 | MQ 的解耦、削峰、通信模式、Kafka/RabbitMQ/ZeroMQ 权衡可迁移到多数分布式系统。 | done | 5 |
| 5 | 内存数据库Redis3.0及SSDB | 精读 | 虽有版本和部署细节,但内存数据库定位、Redis Cluster、选举容错、本地缓存仍有记录价值。 | done | 4 |
| 6 | NoSQL:MongoDB3.0和HBase1.0 | 精读 | MongoDB 与 HBase 的分片、RowKey、LSM 写读权衡适合作为存储系统设计卡片。 | done | 4 |
| 7 | 全文检索:ElasticSearch2.x | 精读 | ES/Solr、分片副本、Mapping、分布式搜索集群结构虽版本旧,但核心概念仍可迁移。 | done | 4 |
| 8 | 微服务架构通信——RPC和Web Service | 精读 | 微服务拆分、同步/异步通信、服务雪崩、熔断隔离限流属于高价值架构治理知识。 | done | 6 |
| 9 | 综合实例:新闻推荐中的用户画像近实时更新 | 精读 | 用推荐系统把埋点、日志、Mini-Batch、画像、算法和服务闭环串起来,实践价值高。 | done | 6 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 对比逐条与小批量处理 | 行为实验 | done | 第1、3、9章 | 逐条与批量窗口对照表 |
| 2 | 审查搜索索引的Mapping | 真实任务 | done | 第7章 | Mapping 问题清单与重建方案 |
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 服务拆分原则 | 已覆盖 | [[智能端点哑管道]]、[[拆分带来分布式复杂度]]、[[CN、AN、JN三节点]] |
| 通信机制 | 已覆盖 | [[消息队列解耦削峰]]、[[Kafka保留消息拉取消费]]、[[能直连就不通配]]、[[ZeroMQ无中间件]]、[[Avro握手交换模式]] |
| 一致性与事务权衡 | 已覆盖 | [[分库后靠最终一致]]、[[内存库重性能轻一致]]、[[多数派判定故障]] |
| 可观测性设计 | 未覆盖 | 书中仅在第 4 章介绍 KafkaOffsetMonitor 的部署与字段,属工具操作说明,未生卡,未补造 |
| 容错设计 | 已覆盖 | [[扇出引发雪崩]]、[[熔断隔离与限流]]、[[失败任务可补算]]、[[计算单元相互独立]]、[[分片扩展副本容错]] |
| 扩展性瓶颈与应对 | 已覆盖 | [[分片由集群负责]]、[[行键决定数据分布]]、[[多主各管一片]]、[[按主键哈希分发]]、[[逐条处理压力大]] |
| 部署与发布策略 | 部分覆盖 | [[拆分带来分布式复杂度]];书中第 2 章部署说明属操作步骤,未系统讲发布与回滚,未补造 |
本书讲离线与实时计算框架对比、自研轻量实时计算框架 light_drtc 的 CN/AN/JN 设计、消息队列、Redis 与本地缓存、MongoDB/HBase、Elasticsearch、微服务通信与雪崩防护,以及新闻推荐中的用户画像近实时更新;卡片复用流处理、大数据计算范式、消息代理、缓存、分片、存储复制、检索、微服务、过载保护、用户行为建模、大数据营销应用等既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 离线与实时分野 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/lambda-architecture.md |
| 微批处理流数据 | 已复用 | notes/_topics/stream-processing-backpressure.md、notes/_topics/big-data-compute-paradigms.md |
| Storm拓扑流计算 | 已复用 | notes/_topics/stream-processing-backpressure.md、notes/_topics/big-data-compute-paradigms.md |
| 自研的理由 | 已复用 | notes/_topics/open-source-adoption.md、notes/_topics/architecture-decision-making.md |
| CN、AN、JN三节点 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/components-connectors.md |
| 计算单元相互独立 | 已复用 | notes/_topics/defense-in-depth-blast-radius.md |
| 按主键哈希分发 | 已复用 | notes/_topics/distributed-data-sharding.md、notes/_topics/load-balancing.md |
| 任务排队不并行 | 已复用 | notes/_topics/stream-processing-backpressure.md |
| 多主各管一片 | 已复用 | notes/_topics/load-balancing.md、notes/_topics/scalability-dimensions.md |
| 失败任务可补算 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 消息队列解耦削峰 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 集群通道简化配置 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 能直连就不通配 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| Kafka保留消息拉取消费 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| ZeroMQ无中间件 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 内存库重性能轻一致 | 已复用 | notes/_topics/caching-strategies.md、notes/_topics/storage-model-choices.md |
| 分片由集群负责 | 已复用 | notes/_topics/distributed-data-sharding.md |
| 多数派判定故障 | 已复用 | notes/_topics/distributed-consensus.md |
| 本地缓存用Guava | 已复用 | notes/_topics/caching-strategies.md |
| HBase源于Bigtable | 已复用 | notes/_topics/storage-model-choices.md、notes/_topics/distributed-storage-replication.md |
| 行键决定数据分布 | 已复用 | notes/_topics/distributed-data-sharding.md |
| LSM写快读慢 | 已复用 | notes/_topics/storage-data-structures.md |
| MongoDB与HBase之别 | 已复用 | notes/_topics/storage-model-choices.md |
| 分片扩展副本容错 | 已复用 | notes/_topics/distributed-storage-replication.md、notes/_topics/inverted-index-query.md |
| 生产要先定Mapping | 已复用 | notes/_topics/inverted-index-query.md、notes/_topics/data-interchange-formats.md |
| 节点变化自动重分布 | 已复用 | notes/_topics/distributed-storage-replication.md |
| ES与Solr取舍 | 已复用 | notes/_topics/architecture-decision-making.md、notes/_topics/inverted-index-query.md |
| 智能端点哑管道 | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| 拆分带来分布式复杂度 | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| 分库后靠最终一致 | 已复用 | notes/_topics/microservice-boundaries-evolution.md、notes/_topics/distributed-transactions.md |
| 扇出引发雪崩 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 熔断隔离与限流 | 已复用 | notes/_topics/overload-protection-degradation.md、notes/_topics/thread-pool-capacity-overload.md |
| Avro握手交换模式 | 已复用 | notes/_topics/data-interchange-formats.md、notes/_topics/rpc-rest-api.md、notes/_topics/service-adaptation-compatibility.md |
| 推荐系统是闭环 | 已复用 | notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md |
| 日志与埋点互补 | 已复用 | notes/_topics/lambda-architecture.md、notes/_topics/user-behavior-modeling.md |
| 逐条处理压力大 | 已复用 | notes/_topics/stream-processing-backpressure.md |
| 画像权重随时间衰减 | 已复用 | notes/_topics/lambda-architecture.md、notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md |
| 多种推荐算法组合 | 已复用 | notes/_topics/big-data-business-applications.md、notes/_topics/ml-fundamentals.md、notes/_topics/ab-experiment-design.md |
| 用搜索实现内容相似 | 已复用 | notes/_topics/inverted-index-query.md、notes/_topics/big-data-business-applications.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较多层防护、分段拦截与故障/入侵影响范围限制的设计方法。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
拉得动吗:推模式与拉模式、长轮询、预取与批量、流控与反压、积压阈值与监控、扩缩容与优先级。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。
主题索引
比较离散选择模型、生存分析与用户生命周期价值(LTV)建模的假设、估计方法与解读方式。
主题索引
比较组件与模块的区别、连接器承担的工作、端口与绑定、不变量,以及架构不匹配的隐含假设。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
主题索引
比较 A/B 实验的假设检验、样本量与方差控制、区组设计,以及网络效应、双边市场、强约束场景下的特殊实验设计。