来源书籍

分布式实时计算框架原理及实践案例

Skill 版本:v8 系统架构类 工程实践(高信息浓度 + 低稳定性) 39 张卡片

尚未生成整书笔记。

类别清单覆盖

5/6

已覆盖 5 补充生成 0 未覆盖 1

章节与卡片

01 分布式实时计算框架介绍

4 张卡片
  1. 离线与实时分野 理解等级:未标注 普通读书笔记卡
  2. 微批处理流数据 理解等级:未标注 普通读书笔记卡
  3. Storm拓扑流计算 理解等级:未标注 普通读书笔记卡
  4. 自研的理由 理解等级:未标注 普通读书笔记卡

03 light_drtc核心技术实现

6 张卡片
  1. CN、AN、JN三节点 理解等级:未标注 普通读书笔记卡
  2. 计算单元相互独立 理解等级:未标注 普通读书笔记卡
  3. 按主键哈希分发 理解等级:未标注 普通读书笔记卡
  4. 任务排队不并行 理解等级:未标注 普通读书笔记卡
  5. 多主各管一片 理解等级:未标注 普通读书笔记卡
  6. 失败任务可补算 理解等级:未标注 普通读书笔记卡

04 消息队列MQ

5 张卡片
  1. 消息队列解耦削峰 理解等级:未标注 普通读书笔记卡
  2. 集群通道简化配置 理解等级:未标注 普通读书笔记卡
  3. 能直连就不通配 理解等级:未标注 普通读书笔记卡
  4. Kafka保留消息拉取消费 理解等级:未标注 普通读书笔记卡
  5. ZeroMQ无中间件 理解等级:未标注 普通读书笔记卡

05 内存数据库Redis3.0及SSDB

4 张卡片
  1. 内存库重性能轻一致 理解等级:未标注 普通读书笔记卡
  2. 分片由集群负责 理解等级:未标注 普通读书笔记卡
  3. 多数派判定故障 理解等级:未标注 普通读书笔记卡
  4. 本地缓存用Guava 理解等级:未标注 普通读书笔记卡

06 NoSQL:MongoDB3.0和HBase1.0

4 张卡片
  1. HBase源于Bigtable 理解等级:未标注 普通读书笔记卡
  2. 行键决定数据分布 理解等级:未标注 普通读书笔记卡
  3. LSM写快读慢 理解等级:未标注 普通读书笔记卡
  4. MongoDB与HBase之别 理解等级:未标注 普通读书笔记卡

07 全文检索:ElasticSearch2.x

4 张卡片
  1. 分片扩展副本容错 理解等级:未标注 普通读书笔记卡
  2. 生产要先定Mapping 理解等级:未标注 普通读书笔记卡
  3. 节点变化自动重分布 理解等级:未标注 普通读书笔记卡
  4. ES与Solr取舍 理解等级:未标注 普通读书笔记卡

08 微服务架构通信——RPC和Web Service

6 张卡片
  1. 智能端点哑管道 理解等级:未标注 普通读书笔记卡
  2. 拆分带来分布式复杂度 理解等级:未标注 普通读书笔记卡
  3. 分库后靠最终一致 理解等级:未标注 普通读书笔记卡
  4. 扇出引发雪崩 理解等级:未标注 普通读书笔记卡
  5. 熔断隔离与限流 理解等级:未标注 普通读书笔记卡
  6. Avro握手交换模式 理解等级:未标注 普通读书笔记卡

09 综合实例:新闻推荐中的用户画像近实时更新

6 张卡片
  1. 推荐系统是闭环 理解等级:未标注 普通读书笔记卡
  2. 日志与埋点互补 理解等级:未标注 普通读书笔记卡
  3. 逐条处理压力大 理解等级:未标注 普通读书笔记卡
  4. 画像权重随时间衰减 理解等级:未标注 普通读书笔记卡
  5. 多种推荐算法组合 理解等级:未标注 普通读书笔记卡
  6. 用搜索实现内容相似 理解等级:未标注 普通读书笔记卡

全书概览

《分布式实时计算框架原理及实践案例》读书笔记总览

Skill 版本:未记录

类别:系统架构类

本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。书中 Redis 3.0、MongoDB 3.0、HBase 1.0、ES 2.x、Kafka 0.9 等版本细节以出版时为准;个别当时的判断(如 Spark 构建在 Hadoop 之上)已不符合现状,卡片未采用。

全书评级

四象限结论:工程实践(高信息浓度 + 低稳定性)

评级理由: 这本书的有效内容不只是工具罗列,而是围绕分布式实时计算链路展开工程设计:第1章比较 Hadoop 离线批处理、Spark Streaming Mini-Batch 与 Storm 事件流;第3章用 CN/AN/JN 拆分说明自研实时计算框架如何收集、聚合、调度和计算;第4章讨论 MQ 在解耦、削峰、异步处理和最终一致性中的位置;第8章把微服务通信、服务雪崩、熔断、隔离、限流放到分布式系统治理语境中;第9章用新闻推荐用户画像近实时更新串起埋点、MQ、实时计算、画像与推荐服务闭环。

但全书大量内容绑定具体版本和当时的产品实践,例如 Redis3.0、MongoDB3.0、HBase1.0、ElasticSearch2.x、KafkaOffsetMonitor、Dubbo/Dubbox、具体部署命令与 Java 客户端 API。这些材料在今天已经明显具有时效性。因此它更适合作为“工程实践”来读:保留架构权衡、数据流设计和故障治理思想,弱化具体版本操作细节。

章节精读划分

章节号 章节标题 精读/略读 理由 状态 卡片数
1 分布式实时计算框架介绍 精读 介绍离线批处理、实时计算、Mini-Batch、Storm 拓扑和自研动机,是理解全书架构取舍的入口。 done 4
2 light_drtc简介及使用说明 略读 主要是代码结构、配置项和部署使用说明,操作性强,稳定知识密度较低。 done 0
3 light_drtc核心技术实现 精读 集中讲 CN/AN/JN、哈希分发、多主调度、任务排队和故障补救,是本书最高浓度章节。 done 6
4 消息队列MQ 精读 MQ 的解耦、削峰、通信模式、Kafka/RabbitMQ/ZeroMQ 权衡可迁移到多数分布式系统。 done 5
5 内存数据库Redis3.0及SSDB 精读 虽有版本和部署细节,但内存数据库定位、Redis Cluster、选举容错、本地缓存仍有记录价值。 done 4
6 NoSQL:MongoDB3.0和HBase1.0 精读 MongoDB 与 HBase 的分片、RowKey、LSM 写读权衡适合作为存储系统设计卡片。 done 4
7 全文检索:ElasticSearch2.x 精读 ES/Solr、分片副本、Mapping、分布式搜索集群结构虽版本旧,但核心概念仍可迁移。 done 4
8 微服务架构通信——RPC和Web Service 精读 微服务拆分、同步/异步通信、服务雪崩、熔断隔离限流属于高价值架构治理知识。 done 6
9 综合实例:新闻推荐中的用户画像近实时更新 精读 用推荐系统把埋点、日志、Mini-Batch、画像、算法和服务闭环串起来,实践价值高。 done 6

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 对比逐条与小批量处理 行为实验 done 第1、3、9章 逐条与批量窗口对照表
2 审查搜索索引的Mapping 真实任务 done 第7章 Mapping 问题清单与重建方案

类别清单核对(系统架构类)

必答维度 覆盖状态 关联卡片标题或未覆盖理由
服务拆分原则 已覆盖 [[智能端点哑管道]]、[[拆分带来分布式复杂度]]、[[CN、AN、JN三节点]]
通信机制 已覆盖 [[消息队列解耦削峰]]、[[Kafka保留消息拉取消费]]、[[能直连就不通配]]、[[ZeroMQ无中间件]]、[[Avro握手交换模式]]
一致性与事务权衡 已覆盖 [[分库后靠最终一致]]、[[内存库重性能轻一致]]、[[多数派判定故障]]
可观测性设计 未覆盖 书中仅在第 4 章介绍 KafkaOffsetMonitor 的部署与字段,属工具操作说明,未生卡,未补造
容错设计 已覆盖 [[扇出引发雪崩]]、[[熔断隔离与限流]]、[[失败任务可补算]]、[[计算单元相互独立]]、[[分片扩展副本容错]]
扩展性瓶颈与应对 已覆盖 [[分片由集群负责]]、[[行键决定数据分布]]、[[多主各管一片]]、[[按主键哈希分发]]、[[逐条处理压力大]]
部署与发布策略 部分覆盖 [[拆分带来分布式复杂度]];书中第 2 章部署说明属操作步骤,未系统讲发布与回滚,未补造

主题索引维护

本书讲离线与实时计算框架对比、自研轻量实时计算框架 light_drtc 的 CN/AN/JN 设计、消息队列、Redis 与本地缓存、MongoDB/HBase、Elasticsearch、微服务通信与雪崩防护,以及新闻推荐中的用户画像近实时更新;卡片复用流处理、大数据计算范式、消息代理、缓存、分片、存储复制、检索、微服务、过载保护、用户行为建模、大数据营销应用等既有主题,未新建主题。

卡片标题 结论 主题文件或原因
离线与实时分野 已复用 notes/_topics/big-data-compute-paradigms.md、notes/_topics/lambda-architecture.md
微批处理流数据 已复用 notes/_topics/stream-processing-backpressure.md、notes/_topics/big-data-compute-paradigms.md
Storm拓扑流计算 已复用 notes/_topics/stream-processing-backpressure.md、notes/_topics/big-data-compute-paradigms.md
自研的理由 已复用 notes/_topics/open-source-adoption.md、notes/_topics/architecture-decision-making.md
CN、AN、JN三节点 已复用 notes/_topics/big-data-compute-paradigms.md、notes/_topics/components-connectors.md
计算单元相互独立 已复用 notes/_topics/defense-in-depth-blast-radius.md
按主键哈希分发 已复用 notes/_topics/distributed-data-sharding.md、notes/_topics/load-balancing.md
任务排队不并行 已复用 notes/_topics/stream-processing-backpressure.md
多主各管一片 已复用 notes/_topics/load-balancing.md、notes/_topics/scalability-dimensions.md
失败任务可补算 已复用 notes/_topics/message-brokers-event-logs.md
消息队列解耦削峰 已复用 notes/_topics/message-brokers-event-logs.md
集群通道简化配置 已复用 notes/_topics/message-brokers-event-logs.md
能直连就不通配 已复用 notes/_topics/message-brokers-event-logs.md
Kafka保留消息拉取消费 已复用 notes/_topics/message-brokers-event-logs.md
ZeroMQ无中间件 已复用 notes/_topics/message-brokers-event-logs.md
内存库重性能轻一致 已复用 notes/_topics/caching-strategies.md、notes/_topics/storage-model-choices.md
分片由集群负责 已复用 notes/_topics/distributed-data-sharding.md
多数派判定故障 已复用 notes/_topics/distributed-consensus.md
本地缓存用Guava 已复用 notes/_topics/caching-strategies.md
HBase源于Bigtable 已复用 notes/_topics/storage-model-choices.md、notes/_topics/distributed-storage-replication.md
行键决定数据分布 已复用 notes/_topics/distributed-data-sharding.md
LSM写快读慢 已复用 notes/_topics/storage-data-structures.md
MongoDB与HBase之别 已复用 notes/_topics/storage-model-choices.md
分片扩展副本容错 已复用 notes/_topics/distributed-storage-replication.md、notes/_topics/inverted-index-query.md
生产要先定Mapping 已复用 notes/_topics/inverted-index-query.md、notes/_topics/data-interchange-formats.md
节点变化自动重分布 已复用 notes/_topics/distributed-storage-replication.md
ES与Solr取舍 已复用 notes/_topics/architecture-decision-making.md、notes/_topics/inverted-index-query.md
智能端点哑管道 已复用 notes/_topics/microservice-boundaries-evolution.md
拆分带来分布式复杂度 已复用 notes/_topics/microservice-boundaries-evolution.md
分库后靠最终一致 已复用 notes/_topics/microservice-boundaries-evolution.md、notes/_topics/distributed-transactions.md
扇出引发雪崩 已复用 notes/_topics/overload-protection-degradation.md
熔断隔离与限流 已复用 notes/_topics/overload-protection-degradation.md、notes/_topics/thread-pool-capacity-overload.md
Avro握手交换模式 已复用 notes/_topics/data-interchange-formats.md、notes/_topics/rpc-rest-api.md、notes/_topics/service-adaptation-compatibility.md
推荐系统是闭环 已复用 notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md
日志与埋点互补 已复用 notes/_topics/lambda-architecture.md、notes/_topics/user-behavior-modeling.md
逐条处理压力大 已复用 notes/_topics/stream-processing-backpressure.md
画像权重随时间衰减 已复用 notes/_topics/lambda-architecture.md、notes/_topics/big-data-business-applications.md、notes/_topics/user-behavior-modeling.md
多种推荐算法组合 已复用 notes/_topics/big-data-business-applications.md、notes/_topics/ml-fundamentals.md、notes/_topics/ab-experiment-design.md
用搜索实现内容相似 已复用 notes/_topics/inverted-index-query.md、notes/_topics/big-data-business-applications.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

微服务拆分与演进

比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。

444 张卡片 · 71 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

架构决策方法

比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。

168 张卡片 · 45 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

机器学习基础算法

比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。

138 张卡片 · 15 本书

主题索引

系统扩展的维度

比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。

134 张卡片 · 52 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

数据分析、实验与因果

从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。

84 张卡片 · 13 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

开源项目选型与使用

比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。

75 张卡片 · 34 本书

主题索引

线程池容量边界与过载策略

比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。

75 张卡片 · 34 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

组件、连接器与端口

比较组件与模块的区别、连接器承担的工作、端口与绑定、不变量,以及架构不匹配的隐含假设。

36 张卡片 · 13 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

A/B实验设计与分析

比较 A/B 实验的假设检验、样本量与方差控制、区组设计,以及网络效应、双边市场、强约束场景下的特殊实验设计。

30 张卡片 · 5 本书