来源书籍

实时流计算系统设计与实现

Skill 版本:v8 实时流计算系统类 172 张卡片

尚未生成整书笔记。

类别清单覆盖

8/8

已覆盖 8 补充生成 0 未覆盖 0

章节与卡片

01 第1章 实时流计算

7 张卡片
  1. 流处理与批处理的本质区别 理解等级:未标注 普通读书笔记卡
  2. 精度换时延的权衡 理解等级:未标注 普通读书笔记卡
  3. 流数据随机性的三种应对手段 理解等级:未标注 普通读书笔记卡
  4. 无序性的局部有序解法 理解等级:未标注 普通读书笔记卡
  5. 实时流计算系统的五段式架构 理解等级:未标注 结构图卡
  6. 消息中间件选型五指标 理解等级:高级 普通读书笔记卡
  7. 数据采集按连接特征选型 理解等级:中级 普通读书笔记卡

02 第2章 数据采集

16 张卡片
  1. 用队列解耦生产者与消费者的步调 理解等级:中级 普通读书笔记卡
  2. CPU与IO任务的线程数 理解等级:高级 普通读书笔记卡
  3. 纤程是理想的线程 理解等级:高级 普通读书笔记卡
  4. 反向压力让上游感知下游处理能力 理解等级:中级 普通读书笔记卡
  5. 异步不是免费的午餐 理解等级:高级 普通读书笔记卡
  6. 流是异步的一种自然表现形式 理解等级:中级 普通读书笔记卡
  7. 信用风险与欺诈风险的区别 理解等级:中级 普通读书笔记卡
  8. 风控采集到决策的处理链 理解等级:中级 结构图卡
  9. NIO选择器只调度就绪连接 理解等级:中级 普通读书笔记卡
  10. IO时延先分吞吐与远端等待 理解等级:高级 普通读书笔记卡
  11. Actor共享线程的阻塞传播 理解等级:高级 普通读书笔记卡
  12. Netty反应器分离接入与读写 理解等级:中级 结构图卡
  13. 业务处理移出网络事件线程 理解等级:中级 普通读书笔记卡
  14. 异步回调须保留请求对象 理解等级:高级 普通读书笔记卡
  15. 有界队列拒绝重试实现反压 理解等级:高级 普通读书笔记卡
  16. 异步是提交后继续做别的事 理解等级:初级 普通读书笔记卡

03 第3章 实现单节点流计算应用

26 张卡片
  1. 流计算框架的最小充分模型 理解等级:未标注 普通读书笔记卡
  2. 回调链才是真正的异步 理解等级:未标注 普通读书笔记卡
  3. 流计算中的死锁陷阱 理解等级:未标注 普通读书笔记卡
  4. 流是比异步更简单的思维方式 理解等级:未标注 普通读书笔记卡
  5. 流水线吞吐量由最慢节点决定 理解等级:未标注 普通读书笔记卡
  6. 线程安全不等于高并发 理解等级:未标注 普通读书笔记卡
  7. 特征提取的三类来源 理解等级:中级 普通读书笔记卡
  8. DAG节点的两种含义 理解等级:中级 普通读书笔记卡
  9. Future汇聚并行特征 理解等级:中级 普通读书笔记卡
  10. 异步链的起点转换与消费 理解等级:中级 普通读书笔记卡
  11. Compose嵌入异步链 理解等级:中级 普通读书笔记卡
  12. Either以先完成者继续 理解等级:中级 普通读书笔记卡
  13. AllOf等待全部阶段 理解等级:中级 普通读书笔记卡
  14. 异步链就地处理异常 理解等级:中级 普通读书笔记卡
  15. 完成时触发后续回调 理解等级:中级 普通读书笔记卡
  16. 双前置依赖的触发条件 理解等级:中级 普通读书笔记卡
  17. 异步链编排特征提取 理解等级:中级 普通读书笔记卡
  18. 执行器承担异步链反压 理解等级:高级 普通读书笔记卡
  19. 五类指标构成性能画像 理解等级:中级 普通读书笔记卡
  20. 压测需压满待测输入 理解等级:中级 普通读书笔记卡
  21. Kafka偏移量重放压测 理解等级:中级 普通读书笔记卡
  22. JVM运行态不等于占用CPU 理解等级:高级 普通读书笔记卡
  23. 等待状态提示四类瓶颈 理解等级:高级 普通读书笔记卡
  24. 性能优化三方向 理解等级:中级 普通读书笔记卡
  25. JVM线程六种状态 理解等级:初级 普通读书笔记卡
  26. Linux线程状态辨析 理解等级:中级 普通读书笔记卡

04 第4章 数据处理

23 张卡片
  1. 流关联操作为什么容易变慢 理解等级:未标注 普通读书笔记卡
  2. 分组是分布式流计算的核心机制 理解等级:未标注 普通读书笔记卡
  3. 流式聚合的寄存器化 理解等级:未标注 普通读书笔记卡
  4. 高势分组是状态爆炸的根源 理解等级:未标注 普通读书笔记卡
  5. 近似算法用误差换资源 理解等级:未标注 普通读书笔记卡
  6. 离线基线加实时增量 理解等级:未标注 普通读书笔记卡
  7. CEP的分层复合思想 理解等级:未标注 普通读书笔记卡
  8. 流上统计建模需要两层结构 理解等级:未标注 普通读书笔记卡
  9. P值异常检测逻辑 理解等级:未标注 普通读书笔记卡
  10. 流计算问题六分类 理解等级:中级 普通读书笔记卡
  11. 过滤只保留满足条件的事件 理解等级:初级 普通读书笔记卡
  12. 映射逐条转化流元素 理解等级:初级 普通读书笔记卡
  13. 展开映射允许零到多输出 理解等级:中级 普通读书笔记卡
  14. 流聚合按窗口产出结果 理解等级:中级 普通读书笔记卡
  15. 遍历消费并终结数据流 理解等级:初级 普通读书笔记卡
  16. 关联图谱表示实体关系 理解等级:初级 普通读书笔记卡
  17. 一度关联是邻居去重计数 理解等级:中级 普通读书笔记卡
  18. 二度关联需要两步扩展 理解等级:中级 普通读书笔记卡
  19. CEP模式赋予事件序列业务含义 理解等级:中级 普通读书笔记卡
  20. 事件模式区分严格相邻与间隔 理解等级:中级 普通读书笔记卡
  21. 在线模型随流数据更新参数 理解等级:中级 普通读书笔记卡
  22. 在线预测先推断再更新 理解等级:中级 普通读书笔记卡
  23. 趋势拟合未必能预测突变 理解等级:高级 普通读书笔记卡

05 第5章 实时流计算的状态管理

16 张卡片
  1. 水印机制给乱序数据设定等待期限 理解等级:未标注 普通读书笔记卡
  2. 状态类型决定存储策略 理解等级:未标注 普通读书笔记卡
  3. 时间分桶让滑动窗口只更新一个桶 理解等级:未标注 普通读书笔记卡
  4. 状态局部性降低批量开销 理解等级:未标注 普通读书笔记卡
  5. 批次请求处理用异步收集换吞吐 理解等级:未标注 普通读书笔记卡
  6. 分布式状态管理的三种架构模式 理解等级:未标注 普通读书笔记卡
  7. 流计算系统像一个分布式JVM 理解等级:未标注 普通读书笔记卡
  8. 流计算状态是运行中积累的数据 理解等级:初级 普通读书笔记卡
  9. 业务聚合窗口不等于流数据窗口 理解等级:高级 普通读书笔记卡
  10. Redis保存流状态的条件 理解等级:中级 普通读书笔记卡
  11. 去重窗口先合并寄存器再计数 理解等级:中级 普通读书笔记卡
  12. 键访问与SQL混合查询 理解等级:中级 普通读书笔记卡
  13. 无原子递增时用比较替换重试 理解等级:中级 普通读书笔记卡
  14. 最后出现时间支持精确窗口去重 理解等级:高级 普通读书笔记卡
  15. 跨序列化比较要定义值相等 理解等级:中级 普通读书笔记卡
  16. 本地状态快照支持重分配恢复 理解等级:中级 普通读书笔记卡

06 第6章 开源流计算框架

22 张卡片
  1. 流计算平台五维评估 理解等级:中级 普通读书笔记卡
  2. Storm协调与执行进程分工 理解等级:中级 结构图卡
  3. Storm拓扑的输入与处理 理解等级:初级 普通读书笔记卡
  4. Storm反压观察阶段队列 理解等级:高级 普通读书笔记卡
  5. 状态接口耦合限制处理模型复用 理解等级:中级 普通读书笔记卡
  6. Storm按衍生消息树判断完成 理解等级:中级 普通读书笔记卡
  7. 微批把连续流转成RDD序列 理解等级:中级 普通读书笔记卡
  8. Spark输出操作触发转换执行 理解等级:中级 普通读书笔记卡
  9. 微批反压按处理速度调输入 理解等级:中级 普通读书笔记卡
  10. 状态更新可只输出变化键 理解等级:中级 普通读书笔记卡
  11. 处理恰好一次不保证输出不重复 理解等级:高级 普通读书笔记卡
  12. Samza把流存储交给消息系统 理解等级:中级 结构图卡
  13. 任务数由分区数决定 理解等级:中级 普通读书笔记卡
  14. 数据流图可跨流应用程序 理解等级:中级 普通读书笔记卡
  15. 重分区中间流也会积压 理解等级:中级 普通读书笔记卡
  16. 本地状态靠变更日志恢复 理解等级:中级 普通读书笔记卡
  17. 至少一次处理要求幂等更新 理解等级:中级 普通读书笔记卡
  18. 流应用由源转换和汇组成 理解等级:初级 普通读书笔记卡
  19. 有界传输队列传播反压 理解等级:中级 普通读书笔记卡
  20. 键控状态按键隔离 理解等级:中级 普通读书笔记卡
  21. 算子状态按并行实例划分 理解等级:中级 普通读书笔记卡
  22. 内部精确一次不等于端到端 理解等级:高级 普通读书笔记卡

07 第7章 当做不到实时

6 张卡片
  1. 做不到实时计算的三大原因 理解等级:未标注 普通读书笔记卡
  2. 积累知识与回答问题分离 理解等级:未标注 普通读书笔记卡
  3. Lambda架构三层职责 理解等级:未标注 结构图卡
  4. Kappa用流统一批与增量 理解等级:未标注 普通读书笔记卡
  5. 流节点可直接使用离线结果 理解等级:中级 普通读书笔记卡
  6. 批流结果合并先对齐时间边界 理解等级:高级 普通读书笔记卡

08 第8章 数据传输

13 张卡片
  1. 消息中间件隔离业务模块 理解等级:初级 普通读书笔记卡
  2. 订阅组兼顾分发与负载均衡 理解等级:中级 结构图卡
  3. 消息模式演进要检验双向兼容 理解等级:中级 普通读书笔记卡
  4. 重放依赖保留范围与消费位置 理解等级:中级 普通读书笔记卡
  5. 主题按分区存储并配置副本 理解等级:初级 普通读书笔记卡
  6. 确认级别不决定调用同步性 理解等级:中级 普通读书笔记卡
  7. 批量发送以吞吐换等待 理解等级:中级 普通读书笔记卡
  8. 组内消费并行度受分区约束 理解等级:中级 普通读书笔记卡
  9. 交换器按绑定规则路由消息 理解等级:中级 结构图卡
  10. 资源声明不应依赖启动顺序 理解等级:中级 普通读书笔记卡
  11. 配置总线传通知配置另行获取 理解等级:中级 普通读书笔记卡
  12. 消息服务层统一路由接口 理解等级:中级 普通读书笔记卡
  13. 动态路由必须有终止条件 理解等级:中级 普通读书笔记卡

09 第9章 数据存储

14 张卡片
  1. 没有万能数据库 理解等级:未标注 普通读书笔记卡
  2. 按时间分表控制单表数据量 理解等级:未标注 普通读书笔记卡
  3. 倒排索引支持条件组合 理解等级:未标注 普通读书笔记卡
  4. 点查询按键定位单个结果 理解等级:初级 普通读书笔记卡
  5. 文档模型容纳可变字段 理解等级:中级 普通读书笔记卡
  6. 分片键决定数据分布 理解等级:中级 普通读书笔记卡
  7. 滚动索引平衡时间与容量 理解等级:中级 普通读书笔记卡
  8. 搜索索引用分片和副本扩展 理解等级:中级 普通读书笔记卡
  9. 小文件与入库时延要权衡 理解等级:高级 普通读书笔记卡
  10. 离线分区采用事件时间 理解等级:中级 普通读书笔记卡
  11. Hive以表映射离线文件 理解等级:初级 普通读书笔记卡
  12. 离线调度要管理作业依赖 理解等级:中级 普通读书笔记卡
  13. 元数据完整性决定系统可用性 理解等级:中级 普通读书笔记卡
  14. 异步副本存在数据滞后窗口 理解等级:中级 普通读书笔记卡

10 第10章 服务治理和配置管理

17 张卡片
  1. 流服务可复用框架治理 理解等级:未标注 普通读书笔记卡
  2. 断路器阻止故障级联传导 理解等级:未标注 普通读书笔记卡
  3. 面向配置编程把程序做成解释器 理解等级:未标注 普通读书笔记卡
  4. 动态配置系统的责任边界 理解等级:未标注 普通读书笔记卡
  5. 暂存区隔离配置编辑与生效 理解等级:未标注 普通读书笔记卡
  6. 辅助服务拆分权衡隔离与时延 理解等级:高级 普通读书笔记卡
  7. 流作业外部调用优先幂等 理解等级:中级 普通读书笔记卡
  8. 微服务按业务能力独立部署 理解等级:初级 普通读书笔记卡
  9. 服务发现替代固定实例地址 理解等级:中级 普通读书笔记卡
  10. 负载均衡可在客户端完成 理解等级:初级 普通读书笔记卡
  11. 追踪链路定位跨服务时延 理解等级:中级 普通读书笔记卡
  12. 网关集中入口路由与鉴权 理解等级:中级 普通读书笔记卡
  13. 动态刷新须限制配置作用域 理解等级:中级 普通读书笔记卡
  14. 领域语言用表达力换开发成本 理解等级:高级 普通读书笔记卡
  15. 动态配置改变运行中行为 理解等级:初级 普通读书笔记卡
  16. 控制流能驱动数据流行为 理解等级:中级 普通读书笔记卡
  17. 共享存储支持配置重读 理解等级:中级 普通读书笔记卡

11 第11章 实时流计算应用案例

12 张卡片
  1. 按依赖深度分层执行避免重复计算 理解等级:未标注 普通读书笔记卡
  2. 特征分路富化聚合模式 理解等级:高级 普通读书笔记卡
  3. 万物皆流的问题转化视角 理解等级:中级 普通读书笔记卡
  4. 字段映射隔离原始事件格式 理解等级:中级 普通读书笔记卡
  5. 特征语言分开聚合与转换 理解等级:中级 普通读书笔记卡
  6. 特征模式区分更新与查询 理解等级:中级 普通读书笔记卡
  7. 特征是量化的决策输入 理解等级:初级 普通读书笔记卡
  8. 特征引擎以流定义边界 理解等级:初级 普通读书笔记卡
  9. 特征引擎分解析执行存储三层 理解等级:中级 结构图卡
  10. 特征失败不能伪装成空结果 理解等级:高级 普通读书笔记卡
  11. 固定条数历史不等于时间窗口 理解等级:高级 普通读书笔记卡
  12. 分身合并状态需要超时出口 理解等级:高级 普通读书笔记卡

全书概览

实时流计算系统设计与实现

  • 作者:周爽
  • 出版:机械工业出版社,2019
  • 类别:实时流计算系统类

阶段一:整体评级

评级结论:工程实践(高信息浓度 × 低稳定性)

理由:

  • 信息浓度高:全书核心不是罗列某个框架的 API 用法,而是持续回答”为什么这样设计”。 例如第5章原创性地把流计算中的”状态”拆成”流数据状态”与”流信息状态”两类,并用 “用户过去7天交易总金额”这个具体反例说明直接用流计算框架自带窗口函数为什么不对(每秒 重复计算、缓存7天全量数据、多特征窗口难同步),这是在讲底层机制和权衡取舍,而不是操作 步骤。第7章讨论 Lambda/Kappa 架构时,也是从”系统设计缺乏整体指导原则导致后期改不动”这 个根本问题切入,第9章”存储的设计原则”从”为什么没有一种数据库能通吃所有场景”讲到5种 存储场景的选型依据,都是典型的高浓度内容。

  • 稳定性低:书中大量篇幅依赖具体技术栈的代码与实现细节展开论证——用 Netty 实现数据 采集服务器、用 CompletableFuture 实现单节点流处理、用 Redis/Apache Ignite 实现状态 管理、逐一介绍 Storm/Spark Streaming/Samza/Flink 四个开源框架的具体用法、用 Kafka/ RabbitMQ/Camel 做数据传输。作者在前言明确说”非目标”是教读者用某个具体框架,但实际章节 安排(尤其第2、3、6、8章)仍然绑定了这些工具当时的 API 形态,技术栈迭代后这部分会显著 过时。

  • 综合来看,落在”工程实践”象限:讲透了不少可迁移的架构设计思路,但论证载体是随时间失效 的具体工具实现,因此不属于”经典原理”。

    来源与恢复说明

  • 原书:books/架构归档7/实时流计算系统设计与实现.epub。EPUB 与解包缓存的 300 个文件逐字节一致;正文按 OPF spine 顺序,共 181 项。

  • 历史章节表只有 11 个总章并全部标为 done,但缺少 _coverage.md,无法证明逐正文项已读。下面的实际正文项一律恢复为 pending;48 张旧知识卡保留,待逐项回读时核对归属与证据。

  • 原概览写“机械工业出版社,2019”,EPUB 版权页写“纸版由机械工业出版社于2020年出版”。出版年待原书书目信息复核;不据此合并其他版次。

  • 阅读单元、来源文件哈希及长节拆分范围见 _coverage.md。以下“卡片数”是已验证关联到具体正文项的数量;旧卡尚未完成关联,因此暂记 0。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 前言 done 0
01 第1章 实时流计算 done 0
1.1 1.1 大数据时代的新挑战:实时流计算 done 0
1.2 1.2 实时流计算使用场景 done 0
1.3 1.3 实时流数据的特点 done 4
1.4 1.4 实时流计算系统架构 done 1
1.4.1 1.4.1 数据采集 done 1
1.4.2 1.4.2 数据传输 done 1
1.4.3 1.4.3 数据处理 done 0
1.4.4 1.4.4 数据存储 done 0
1.4.5 1.4.5 数据展示 done 0
1.5 1.5 本章小结 done 0
02 第2章 数据采集 done 0
2.1 2.1 设计数据采集的接口 done 2
2.2 2.2 使用Sprin Boot实现数据采集服务器 done 0
2.3 2.3 BIO与NIO done 0
2.3.1 2.3.1 BIO连接器 done 1
2.3.2 2.3.2 NIO连接器 done 1
2.4 2.4 NIO和异步 done 0
2.4.1 2.4.1 CPU密集型任务 done 0
2.4.2 2.4.2 I/O密集型任务 done 2
2.4.3 2.4.3 I/O和CPU都密集型任务 done 0
2.4.4 2.4.4 纤程 done 1
2.4.5 2.4.5 Actor done 1
2.4.6 2.4.6 NIO配合异步编程 done 1
2.5 2.5 使用Netty实现数据采集服务器 done 1
2.5.1 2.5.1 使用Netty实现数据采集API done 0
2.5.2 2.5.2 异步编程 done 2
2.5.3 2.5.3 流量控制和反向压力 done 1
2.5.4 2.5.4 实现反向压力 done 1
2.5.5 2.5.5 异步的不足之处 done 1
2.6 2.6 本章小结 done 1
03 第3章 实现单节点流计算应用 done 0
3.1 3.1 自己动手写实时流计算框架 done 1
3.1.1 3.1.1 用DAG描述流计算过程 done 1
3.1.2 3.1.2 造一个流计算框架的轮子 done 1
3.1.3 3.1.3 实现特征提取DAG节点 done 1
3.1.4 3.1.4 实现特征提取DAG拓扑 done 0
3.2 3.2 CompletableFuture方法与原理 done 1
3.2.1 3.2.1 常用的CompletableFuture类方法 done 5
3.2.2 3.2.2 CompletableFuture的工作原理 done 2
3.3 3.3 采用CompletableFuture实现单节点流处理 done 0
3.3.1 3.3.1 基于CompletableFuture实现流计算应用 done 1
3.3.2 3.3.2 反向压力 done 1
3.3.3 3.3.3 死锁 done 1
3.3.4 3.3.4 再论流与异步的关系 done 1
3.4 3.4 流计算应用的性能调优 done 0
3.4.1 3.4.1 优化机制 done 1
3.4.2 3.4.2 优化工具 done 3
3.4.3 3.4.3 线程状态 done 4
3.4.4 3.4.4 优化方向 done 2
3.5 3.5 本章小结 done 0
04 第4章 数据处理 done 0
4.1 4.1 流计算到底在计算什么 done 1
4.2 4.2 流数据操作 done 0
4.2.1 4.2.1 过滤 done 1
4.2.2 4.2.2 映射 done 1
4.2.3 4.2.3 展开映射 done 1
4.2.4 4.2.4 聚合 done 1
4.2.5 4.2.5 关联 done 1
4.2.6 4.2.6 分组 done 1
4.2.7 4.2.7 遍历 done 1
4.3 4.3 时间维度聚合特征计算 done 2
4.4 4.4 关联图谱特征计算 done 1
4.4.1 4.4.1 一度关联 done 2
4.4.2 4.4.2 二度关联 done 2
4.5 4.5 事件序列分析 done 1
4.5.1 4.5.1 CEP编程模式 done 1
4.5.2 4.5.2 Flink CEP实例 done 1
4.6 4.6 模型学习和预测 done 1
4.6.1 4.6.1 统计学习模型 done 1
4.6.2 4.6.2 P-value检验 done 1
4.6.3 4.6.3 机器学习模型 done 2
4.7 4.7 本章小结 done 0
05 第5章 实时流计算的状态管理 done 1
5.1 5.1 流的状态 done 2
5.1.1 5.1.1 流数据状态 done 1
5.1.2 5.1.2 流信息状态 done 0
5.2 5.2 采用Redis实现流信息状态管理 done 1
5.2.1 5.2.1 时间维度聚合特征计算 done 1
5.2.2 5.2.2 一度关联特征计算 done 1
5.3 5.3 采用Apache Ignite实现流信息状态管理 done 1
5.3.1 5.3.1 时间维度聚合分析 done 2
5.3.2 5.3.2 一度关联特征计算 done 1
5.4 5.4 扩展为集群 done 1
5.4.1 5.4.1 基于Redis的状态集群 done 0
5.4.2 5.4.2 局部性原理 done 1
5.4.3 5.4.3 批次请求处理 done 1
5.4.4 5.4.4 基于Apache Ignite的状态集群 done 0
5.4.5 5.4.5 基于分布式文件系统的状态管理集群 done 1
5.5 5.5 本章小结 done 1
06 第6章 开源流计算框架 done 1
6.1 6.1 Apache Storm done 0
6.1.1 6.1.1 系统架构 done 1
6.1.2 6.1.2 流的描述 done 1
6.1.3 6.1.3 流的执行 done 1
6.1.4 6.1.4 流的状态 done 1
6.1.5 6.1.5 消息传达可靠性保证 done 1
6.2 6.2 Spark Streaming done 0
6.2.1 6.2.1 系统架构 done 1
6.2.2 6.2.2 流的描述 done 1
6.2.3 6.2.3 流的执行 done 1
6.2.4 6.2.4 流的状态 done 1
6.2.5 6.2.5 消息传达可靠性保证 done 1
6.3 6.3 Apache Samza done 0
6.3.1 6.3.1 系统架构 done 1
6.3.2 6.3.2 流的描述 done 2
6.3.3 6.3.3 流的执行 done 1
6.3.4 6.3.4 流的状态 done 1
6.3.5 6.3.5 消息传达可靠性保证 done 1
6.4 6.4 Apache Flink done 0
6.4.1 6.4.1 系统架构 done 0
6.4.2 6.4.2 流的描述 done 1
6.4.3 6.4.3 流的执行 done 1
6.4.4 6.4.4 流的状态 done 2
6.4.5 6.4.5 消息传达可靠性 done 1
6.5 6.5 本章小结 done 0
07 第7章 当做不到实时 done 0
7.1 7.1 做不到实时的原因 done 1
7.2 7.2 Lambda架构 done 0
7.2.1 7.2.1 数据系统和Lambda架构思想 done 1
7.2.2 7.2.2 Lambda架构 done 1
7.2.3 7.2.3 Lambda架构在实时流计算中的运用 done 1
7.3 7.3 Kappa架构与架构实例 done 0
7.3.1 7.3.1 Kappa架构 done 1
7.3.2 7.3.2 Kappa架构实例 done 1
7.4 7.4 本章小结 done 0
08 第8章 数据传输 done 0
8.1 8.1 消息中间件 done 0
8.1.1 8.1.1 为什么使用消息中间件 done 1
8.1.2 8.1.2 消息中间件的工作模式 done 1
8.1.3 8.1.3 消息模式 done 1
8.1.4 8.1.4 使用消息中间件的注意事项 done 1
8.2 8.2 Apache Kafka done 0
8.2.1 8.2.1 Kafka架构 done 1
8.2.2 8.2.2 Kafka生产者 done 2
8.2.3 8.2.3 Kafka消费者 done 1
8.2.4 8.2.4 将Kafka用于数据总线 done 0
8.3 8.3 RabbitMQ done 0
8.3.1 8.3.1 RabbitMQ架构 done 1
8.3.2 8.3.2 RabbitMQ的使用 done 1
8.3.3 8.3.3 将RabbitMQ用于配置总线 done 1
8.4 8.4 Apache Camel done 1
8.4.1 8.4.1 使用Apache Camel集成系统 done 0
8.4.2 8.4.2 使用Apache camel管理流数据路由 done 1
8.5 8.5 本章小结 done 0
09 第9章 数据存储 done 0
9.1 9.1 存储的设计原则 done 1
9.2 9.2 点查询 done 1
9.2.1 9.2.1 数据灵活性 done 1
9.2.2 9.2.2 MongoDB数据库 done 1
9.2.3 9.2.3 数据过期和按时间分表 done 1
9.3 9.3 Ad-Hoc查询 done 0
9.3.1 9.3.1 倒排索引 done 1
9.3.2 9.3.2 ElasticSearch done 1
9.3.3 9.3.3 分索引存储 done 1
9.4 9.4 离线分析 done 0
9.4.1 9.4.1 存储 done 2
9.4.2 9.4.2 处理和分析 done 1
9.4.3 9.4.3 调度 done 1
9.5 9.5 关系型数据库查询 done 2
9.6 9.6 本章小结 done 0
10 第10章 服务治理和配置管理 done 0
10.1 10.1 服务治理 done 0
10.1.1 10.1.1 流服务和微服务 done 4
10.1.2 10.1.2 微服务框架Spring Cloud done 6
10.2 10.2 面向配置编程 done 0
10.2.1 10.2.1 面向配置编程思想 done 1
10.2.2 10.2.2 更高级的配置:领域特定语言 done 1
10.3 10.3 动态配置 done 4
10.4 10.4 将前端配置与后端服务配置隔离开 done 1
10.5 10.5 本章小结 done 0
11 第11章 实时流计算应用案例 done 0
11.1 11.1 实时流数据特征提取引擎 done 1
11.1.1 11.1.1 流数据特征提取引擎DSL定义 done 4
11.1.2 11.1.2 实现原理 done 2
11.1.3 11.1.3 具体实现 done 1
11.2 11.2 使用Flink实现风控引擎 done 0
11.2.1 11.2.1 实现原理 done 1
11.2.2 11.2.2 具体实现 done 2
11.3 11.3 本章小结 done 1

正文来源映射

spine项 章节号 正文源路径
3 00 OEBPS/Text/chapter.xhtml
4 01 OEBPS/Text/chapter1.xhtml
5 1.1 OEBPS/Text/chapter2.xhtml
6 1.2 OEBPS/Text/chapter3.xhtml
7 1.3 OEBPS/Text/chapter4.xhtml
8 1.4 OEBPS/Text/chapter5.xhtml
9 1.4.1 OEBPS/Text/chapter6.xhtml
10 1.4.2 OEBPS/Text/chapter7.xhtml
11 1.4.3 OEBPS/Text/chapter8.xhtml
12 1.4.4 OEBPS/Text/chapter9.xhtml
13 1.4.5 OEBPS/Text/chapter10.xhtml
14 1.5 OEBPS/Text/chapter11.xhtml
15 02 OEBPS/Text/chapter12.xhtml
16 2.1 OEBPS/Text/chapter13.xhtml
17 2.2 OEBPS/Text/chapter14.xhtml
18 2.3 OEBPS/Text/chapter15.xhtml
19 2.3.1 OEBPS/Text/chapter16.xhtml
20 2.3.2 OEBPS/Text/chapter17.xhtml
21 2.4 OEBPS/Text/chapter18.xhtml
22 2.4.1 OEBPS/Text/chapter19.xhtml
23 2.4.2 OEBPS/Text/chapter20.xhtml
24 2.4.3 OEBPS/Text/chapter21.xhtml
25 2.4.4 OEBPS/Text/chapter22.xhtml
26 2.4.5 OEBPS/Text/chapter23.xhtml
27 2.4.6 OEBPS/Text/chapter24.xhtml
28 2.5 OEBPS/Text/chapter25.xhtml
29 2.5.1 OEBPS/Text/chapter26.xhtml
30 2.5.2 OEBPS/Text/chapter27.xhtml
31 2.5.3 OEBPS/Text/chapter28.xhtml
32 2.5.4 OEBPS/Text/chapter29.xhtml
33 2.5.5 OEBPS/Text/chapter30.xhtml
34 2.6 OEBPS/Text/chapter31.xhtml
35 03 OEBPS/Text/chapter32.xhtml
36 3.1 OEBPS/Text/chapter33.xhtml
37 3.1.1 OEBPS/Text/chapter34.xhtml
38 3.1.2 OEBPS/Text/chapter35.xhtml
39 3.1.3 OEBPS/Text/chapter36.xhtml
40 3.1.4 OEBPS/Text/chapter37.xhtml
41 3.2 OEBPS/Text/chapter38.xhtml
42 3.2.1 OEBPS/Text/chapter39.xhtml
43 3.2.2 OEBPS/Text/chapter40.xhtml
44 3.3 OEBPS/Text/chapter41.xhtml
45 3.3.1 OEBPS/Text/chapter42.xhtml
46 3.3.2 OEBPS/Text/chapter43.xhtml
47 3.3.3 OEBPS/Text/chapter44.xhtml
48 3.3.4 OEBPS/Text/chapter45.xhtml
49 3.4 OEBPS/Text/chapter46.xhtml
50 3.4.1 OEBPS/Text/chapter47.xhtml
51 3.4.2 OEBPS/Text/chapter48.xhtml
52 3.4.3 OEBPS/Text/chapter49.xhtml
53 3.4.4 OEBPS/Text/chapter50.xhtml
54 3.5 OEBPS/Text/chapter51.xhtml
55 04 OEBPS/Text/chapter52.xhtml
56 4.1 OEBPS/Text/chapter53.xhtml
57 4.2 OEBPS/Text/chapter54.xhtml
58 4.2.1 OEBPS/Text/chapter55.xhtml
59 4.2.2 OEBPS/Text/chapter56.xhtml
60 4.2.3 OEBPS/Text/chapter57.xhtml
61 4.2.4 OEBPS/Text/chapter58.xhtml
62 4.2.5 OEBPS/Text/chapter59.xhtml
63 4.2.6 OEBPS/Text/chapter60.xhtml
64 4.2.7 OEBPS/Text/chapter61.xhtml
65 4.3 OEBPS/Text/chapter62.xhtml
66 4.4 OEBPS/Text/chapter63.xhtml
67 4.4.1 OEBPS/Text/chapter64.xhtml
68 4.4.2 OEBPS/Text/chapter65.xhtml
69 4.5 OEBPS/Text/chapter66.xhtml
70 4.5.1 OEBPS/Text/chapter67.xhtml
71 4.5.2 OEBPS/Text/chapter68.xhtml
72 4.6 OEBPS/Text/chapter69.xhtml
73 4.6.1 OEBPS/Text/chapter70.xhtml
74 4.6.2 OEBPS/Text/chapter71.xhtml
75 4.6.3 OEBPS/Text/chapter72.xhtml
76 4.7 OEBPS/Text/chapter73.xhtml
77 05 OEBPS/Text/chapter74.xhtml
78 5.1 OEBPS/Text/chapter75.xhtml
79 5.1.1 OEBPS/Text/chapter76.xhtml
80 5.1.2 OEBPS/Text/chapter77.xhtml
81 5.2 OEBPS/Text/chapter78.xhtml
82 5.2.1 OEBPS/Text/chapter79.xhtml
83 5.2.2 OEBPS/Text/chapter80.xhtml
84 5.3 OEBPS/Text/chapter81.xhtml
85 5.3.1 OEBPS/Text/chapter82.xhtml
86 5.3.2 OEBPS/Text/chapter83.xhtml
87 5.4 OEBPS/Text/chapter84.xhtml
88 5.4.1 OEBPS/Text/chapter85.xhtml
89 5.4.2 OEBPS/Text/chapter86.xhtml
90 5.4.3 OEBPS/Text/chapter87.xhtml
91 5.4.4 OEBPS/Text/chapter88.xhtml
92 5.4.5 OEBPS/Text/chapter89.xhtml
93 5.5 OEBPS/Text/chapter90.xhtml
94 06 OEBPS/Text/chapter91.xhtml
95 6.1 OEBPS/Text/chapter92.xhtml
96 6.1.1 OEBPS/Text/chapter93.xhtml
97 6.1.2 OEBPS/Text/chapter94.xhtml
98 6.1.3 OEBPS/Text/chapter95.xhtml
99 6.1.4 OEBPS/Text/chapter96.xhtml
100 6.1.5 OEBPS/Text/chapter97.xhtml
101 6.2 OEBPS/Text/chapter98.xhtml
102 6.2.1 OEBPS/Text/chapter99.xhtml
103 6.2.2 OEBPS/Text/chapter100.xhtml
104 6.2.3 OEBPS/Text/chapter101.xhtml
105 6.2.4 OEBPS/Text/chapter102.xhtml
106 6.2.5 OEBPS/Text/chapter103.xhtml
107 6.3 OEBPS/Text/chapter104.xhtml
108 6.3.1 OEBPS/Text/chapter105.xhtml
109 6.3.2 OEBPS/Text/chapter106.xhtml
110 6.3.3 OEBPS/Text/chapter107.xhtml
111 6.3.4 OEBPS/Text/chapter108.xhtml
112 6.3.5 OEBPS/Text/chapter109.xhtml
113 6.4 OEBPS/Text/chapter110.xhtml
114 6.4.1 OEBPS/Text/chapter111.xhtml
115 6.4.2 OEBPS/Text/chapter112.xhtml
116 6.4.3 OEBPS/Text/chapter113.xhtml
117 6.4.4 OEBPS/Text/chapter114.xhtml
118 6.4.5 OEBPS/Text/chapter115.xhtml
119 6.5 OEBPS/Text/chapter116.xhtml
120 07 OEBPS/Text/chapter117.xhtml
121 7.1 OEBPS/Text/chapter118.xhtml
122 7.2 OEBPS/Text/chapter119.xhtml
123 7.2.1 OEBPS/Text/chapter120.xhtml
124 7.2.2 OEBPS/Text/chapter121.xhtml
125 7.2.3 OEBPS/Text/chapter122.xhtml
126 7.3 OEBPS/Text/chapter123.xhtml
127 7.3.1 OEBPS/Text/chapter124.xhtml
128 7.3.2 OEBPS/Text/chapter125.xhtml
129 7.4 OEBPS/Text/chapter126.xhtml
130 08 OEBPS/Text/chapter127.xhtml
131 8.1 OEBPS/Text/chapter128.xhtml
132 8.1.1 OEBPS/Text/chapter129.xhtml
133 8.1.2 OEBPS/Text/chapter130.xhtml
134 8.1.3 OEBPS/Text/chapter131.xhtml
135 8.1.4 OEBPS/Text/chapter132.xhtml
136 8.2 OEBPS/Text/chapter133.xhtml
137 8.2.1 OEBPS/Text/chapter134.xhtml
138 8.2.2 OEBPS/Text/chapter135.xhtml
139 8.2.3 OEBPS/Text/chapter136.xhtml
140 8.2.4 OEBPS/Text/chapter137.xhtml
141 8.3 OEBPS/Text/chapter138.xhtml
142 8.3.1 OEBPS/Text/chapter139.xhtml
143 8.3.2 OEBPS/Text/chapter140.xhtml
144 8.3.3 OEBPS/Text/chapter141.xhtml
145 8.4 OEBPS/Text/chapter142.xhtml
146 8.4.1 OEBPS/Text/chapter143.xhtml
147 8.4.2 OEBPS/Text/chapter144.xhtml
148 8.5 OEBPS/Text/chapter145.xhtml
149 09 OEBPS/Text/chapter146.xhtml
150 9.1 OEBPS/Text/chapter147.xhtml
151 9.2 OEBPS/Text/chapter148.xhtml
152 9.2.1 OEBPS/Text/chapter149.xhtml
153 9.2.2 OEBPS/Text/chapter150.xhtml
154 9.2.3 OEBPS/Text/chapter151.xhtml
155 9.3 OEBPS/Text/chapter152.xhtml
156 9.3.1 OEBPS/Text/chapter153.xhtml
157 9.3.2 OEBPS/Text/chapter154.xhtml
158 9.3.3 OEBPS/Text/chapter155.xhtml
159 9.4 OEBPS/Text/chapter156.xhtml
160 9.4.1 OEBPS/Text/chapter157.xhtml
161 9.4.2 OEBPS/Text/chapter158.xhtml
162 9.4.3 OEBPS/Text/chapter159.xhtml
163 9.5 OEBPS/Text/chapter160.xhtml
164 9.6 OEBPS/Text/chapter161.xhtml
165 10 OEBPS/Text/chapter162.xhtml
166 10.1 OEBPS/Text/chapter163.xhtml
167 10.1.1 OEBPS/Text/chapter164.xhtml
168 10.1.2 OEBPS/Text/chapter165.xhtml
169 10.2 OEBPS/Text/chapter166.xhtml
170 10.2.1 OEBPS/Text/chapter167.xhtml
171 10.2.2 OEBPS/Text/chapter168.xhtml
172 10.3 OEBPS/Text/chapter169.xhtml
173 10.4 OEBPS/Text/chapter170.xhtml
174 10.5 OEBPS/Text/chapter171.xhtml
175 11 OEBPS/Text/chapter172.xhtml
176 11.1 OEBPS/Text/chapter173.xhtml
177 11.1.1 OEBPS/Text/chapter174.xhtml
178 11.1.2 OEBPS/Text/chapter175.xhtml
179 11.1.3 OEBPS/Text/chapter176.xhtml
180 11.2 OEBPS/Text/chapter177.xhtml
181 11.2.1 OEBPS/Text/chapter178.xhtml
182 11.2.2 OEBPS/Text/chapter179.xhtml
183 11.3 OEBPS/Text/chapter180.xhtml
非正文排除
spine项 类型 排除理由
spine 1 / titlepage 扉页 titlepage.xhtml 无正文
spine 2 / copyright.xhtml 版权页 OEBPS/Text/copyright.xhtml 是版权信息,不属于论述正文
原有分章取舍理由(历史参考,尚待逐项回读验证)
  • 01 实时流计算:背景、使用场景、流数据特点、通用架构五大组成部分,全书概念地基,精读。
  • 02 数据采集:BIO/NIO/异步编程原理浓度高(Java高并发基础知识可迁移),虽然用 Netty 做 实现,仍从中提炼可迁移的并发/IO模型认知,精读。
  • 03 实现单节点流计算应用:自己动手设计流计算框架的思路、CompletableFuture 原理与在流 处理中的应用、性能调优方法论,精读。
  • 04 数据处理:流计算到底在算什么、流数据操作、时间维度聚合特征、关联图谱特征、事件序列 分析(CEP)、模型学习与预测,概念丰富,精读。
  • 05 状态管理:流数据状态 vs 流信息状态的原创划分,是全书最有原创价值的架构思考,精读。
  • 06 开源流计算框架:主要是 Storm/Spark Streaming/Samza/Flink 四个框架的功能与用法介绍, 作者自陈这是本书”非目标”,时效性强、可迁移原理少,略读。
  • 07 当做不到实时:Lambda/Kappa 架构的经典讨论,架构设计思维价值高,精读。
  • 08 数据传输:消息中间件基础概念之外,主体是 Kafka/RabbitMQ/Apache Camel 的具体使用, 工具绑定强,略读。
  • 09 数据存储:存储设计原则(为什么没有万能数据库、五种存储场景的选型依据)价值高,虽然 后续小节涉及具体查询引擎,仍以设计原则为主线,精读。
  • 10 服务治理和配置管理:服务治理理念、面向配置编程、动态配置、前后端配置隔离,都是可迁 移的架构设计话题,精读。
  • 11 实时流计算应用案例:特征提取引擎、Flink 风控引擎两个真实案例,实践经验价值高,精读。

待关联术语

术语名 出现章节 一句话语境
DAG(有向无环图) 1.4.3 原文称其用于描述流计算过程,但未展开机制。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 核算风控窗口的状态上限 证据验证 done 11.2.2 窗口边界对照表与代码证据清单
002 列出事件分身合并的失败出口 证据验证 done 11.2.2 合并状态转移表与源码位置

候选筛选:未采用“重写完整流计算框架”,现有章节机制可先由源码与合成输入验证;未采用直接调整真实风控规则,书中阈值缺少效果证据且涉及实际资金风险。以上是实践计划,未执行卡中行动。

类别清单核对

  • 状态:done。用户已确认新增“实时流计算系统类”;本书以持续流数据的处理模型、状态、时间语义、容错和工程架构为主,命中该类别。以下结论只核对书中实际覆盖,不为补齐清单虚构内容。
必答维度 状态 现有卡片与核对结论
计算模型与数据流图 已覆盖 [[流计算框架的最小充分模型]]、[[流应用由源转换和汇组成]]覆盖流、算子、源与汇的基本模型。
时间语义与窗口 已覆盖 [[水印机制给乱序数据设定等待期限]]、[[业务聚合窗口不等于流数据窗口]]区分乱序等待、窗口含义与边界。
状态管理 已覆盖 [[流计算状态是运行中积累的数据]]、[[键控状态按键隔离]]、[[算子状态按并行实例划分]]覆盖状态分类、作用域与恢复前提。
流量控制与反压 已覆盖 [[有界传输队列传播反压]]、[[执行器承担异步链反压]]覆盖队列容量、异步执行和压力传播。
分区、并行与伸缩 已覆盖 [[分组是分布式流计算的核心机制]]、[[任务数由分区数决定]]覆盖键分组、分区并行度与伸缩约束。
容错与处理语义 已覆盖 [[内部精确一次不等于端到端]]、[[本地状态靠变更日志恢复]]、[[至少一次处理要求幂等更新]]覆盖恢复与输出边界。
数据传输、存储与查询 已覆盖 [[消息中间件选型五指标]]、[[重放依赖保留范围与消费位置]]、[[没有万能数据库]]覆盖传输、保留和查询场景选型。
平台选型、治理与适用边界 已覆盖 [[流计算平台五维评估]]、[[流服务可复用框架治理]]、[[动态配置系统的责任边界]]覆盖框架评估、治理和配置边界。

主题索引维护

  • 状态:done。以下集合互不重叠并覆盖当前 172 张稳定知识卡;只复用已有主题,不创建新主题。主题成员以 notes/_topics/*.md 为真源,未把实践计划卡纳入索引。
卡片范围 数量 结论 主题或理由
[[流处理与批处理的本质区别]]、[[反向压力让上游感知下游处理能力]]、[[流是异步的一种自然表现形式]]、[[有界队列拒绝重试实现反压]]、[[执行器承担异步链反压]]、[[Storm反压观察阶段队列]]、[[微批反压按处理速度调输入]]、[[有界传输队列传播反压]] 8 已复用 [[流式处理与背压]];共同讨论流式处理、缓冲上限和压力传播。
[[用队列解耦生产者与消费者的步调]]、[[消息中间件隔离业务模块]]、[[订阅组兼顾分发与负载均衡]]、[[消息模式演进要检验双向兼容]]、[[重放依赖保留范围与消费位置]]、[[主题按分区存储并配置副本]]、[[确认级别不决定调用同步性]]、[[批量发送以吞吐换等待]]、[[组内消费并行度受分区约束]]、[[交换器按绑定规则路由消息]]、[[资源声明不应依赖启动顺序]] 11 已复用 [[消息代理与事件日志]];覆盖缓冲、消费、分区、确认、重放和路由取舍。
[[Lambda架构三层职责]]、[[Kappa用流统一批与增量]]、[[流节点可直接使用离线结果]]、[[批流结果合并先对齐时间边界]]、[[没有万能数据库]] 5 已复用 [[数据流与分拆数据库]];覆盖批流衍生结果、多存储协作和数据系统分工。
ch01-* 中除上表已复用卡外 6 无需加入 本章其余卡是本书的系统分段、数据特性与采集选型,现有主题没有更精确且稳定的跨书聚合目标。
ch02-* 中除上表已复用卡外 12 无需加入 其余内容分属线程数、纤程、风控和 Netty/NIO 实现,强行并入宽泛主题会降低索引纯度。
ch03-* 中除上表已复用卡外 25 无需加入 其余内容是 CompletableFuture 编排、特征提取与性能诊断的章节内机制,暂不扩张现有主题。
ch04-* 23 无需加入 算子、图关联、CEP 与在线模型各自数量不足以形成新的跨书稳定主题;本轮不创建新索引。
ch05-* 16 无需加入 状态存储、窗口去重和恢复机制目前主要构成本书内部知识簇,现有主题粒度不匹配。
ch06-* 中除上表已复用卡外 19 无需加入 其余卡是 Storm、Spark Streaming、Samza、Flink 的版本性平台机制,不混入更稳定的通用主题。
ch07-* 中除上表已复用卡外 2 无需加入 “做不到实时”的原因与知识/查询分离是本章过渡性论点,缺少合适的现有跨书主题。
ch08-* 中除上表已复用卡外 3 无需加入 配置总线、消息服务层和动态路由更接近本书集成实现,暂不并入消息代理主题。
ch09-* 中除上表已复用卡外 13 无需加入 点查、倒排索引、离线分区和副本新鲜度跨多个存储子题,当前不新增宽泛索引。
ch10-* 17 无需加入 微服务治理、动态配置与领域语言横跨多个主题;现有 Markdown 主题没有精确覆盖该组合。
ch11-* 12 无需加入 特征引擎 DSL 与风控案例属于本书实现案例,保留在书内分支即可。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

微服务拆分与演进

比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。

444 张卡片 · 71 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

服务治理闭环

比较服务资产、生命周期、依赖关系与运行策略如何形成可观测、可诊断、可执行的治理闭环。

361 张卡片 · 17 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

追踪与上下文

Trace/Span 模型、标识与上下文传播、采样取舍、OpenTelemetry 与采集器管道。

199 张卡片 · 44 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

异步编程与结果编排

比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。

140 张卡片 · 30 本书

主题索引

机器学习基础算法

比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。

138 张卡片 · 15 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

线程与任务抽象

线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。

112 张卡片 · 27 本书

主题索引

大数据营销、广告与征信应用

比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。

108 张卡片 · 12 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

异步 RPC 与受理语义

异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。

95 张卡片 · 28 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

异步结果的组合

Future 先给契约、回调反转调用方向,Promise 三态与 then 链、async/await 与 generator 把异步写成线性,阶段式组合(Compose/AllOf/择快)在异常传播与线程归属上的差异,以及回调地狱与 Zalgo 这类时序陷阱。

82 张卡片 · 10 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

倒排索引与查询处理

比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。

80 张卡片 · 19 本书

主题索引

线程池容量边界与过载策略

比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。

75 张卡片 · 34 本书

主题索引

事件循环与 NIO 线程模型

Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。

68 张卡片 · 11 本书

主题索引

Spark内核执行机制

Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。

65 张卡片 · 6 本书

主题索引

RPC重试与期限管理

比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。

61 张卡片 · 25 本书

主题索引

经典算法与业务建模

分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。

60 张卡片 · 12 本书

主题索引

状态与容错:状态存哪、错了怎么恢复

有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。

58 张卡片 · 8 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

内存模型与原子语义

原子不等于易变、volatile 不等于互斥,读改写为什么必须整体原子,竞态与数据争用的判定,内存屏障与顺序一致,双重检查锁与懒加载的发布问题,以及 Race 检测只覆盖运行路径的局限。

54 张卡片 · 19 本书

主题索引

框架与集成:Storm、Spark 与消息系统怎么接

具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。

54 张卡片 · 12 本书

主题索引

顺序保证与延时消息

比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。

49 张卡片 · 18 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

Netty框架内部机制

Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。

44 张卡片 · 6 本书

主题索引

线性模型与优化算法

从最小二乘与线性/逻辑回归出发,梯度下降、随机梯度、牛顿法、AdaGrad/RMSProp 各自在改什么;L1/L2 惩罚为什么是不同目标;在线学习与专家算法(Hedge、乘性权重、遗憾界)如何在只有过去反馈时更新。

40 张卡片 · 4 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

背压与流控:生产速率怎么被下游约束

背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。

35 张卡片 · 18 本书

主题索引

训练运行时与迭代引擎

TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。

33 张卡片 · 7 本书

主题索引

学习范式与泛化边界

监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。

31 张卡片 · 12 本书

主题索引

协程与线程调度模型

比较用户态协程、M:N 调度、工作窃取与抢占等调度器设计。

30 张卡片 · 9 本书

主题索引

图计算:切分、BSP 与迭代

以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。

30 张卡片 · 6 本书

主题索引

Actor 模型与监督

比较 Actor 以无共享状态、单消息处理、行为切换和引用能力组织并发的方式,以及监督层级、远程与集群、调度器与测试对韧性和性能的影响。

26 张卡片 · 6 本书

主题索引

服务路由与流量分组

比较按调用方、业务键和分组限定可见实例,再分配流量及动态调整分组容量的做法。

20 张卡片 · 10 本书

主题索引

无锁与原子操作

比较 CAS、原子类、热点分散与 ABA 等无锁编程机制及其适用边界。

17 张卡片 · 6 本书