主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
8/8
评级结论:工程实践(高信息浓度 × 低稳定性)
理由:
信息浓度高:全书核心不是罗列某个框架的 API 用法,而是持续回答”为什么这样设计”。 例如第5章原创性地把流计算中的”状态”拆成”流数据状态”与”流信息状态”两类,并用 “用户过去7天交易总金额”这个具体反例说明直接用流计算框架自带窗口函数为什么不对(每秒 重复计算、缓存7天全量数据、多特征窗口难同步),这是在讲底层机制和权衡取舍,而不是操作 步骤。第7章讨论 Lambda/Kappa 架构时,也是从”系统设计缺乏整体指导原则导致后期改不动”这 个根本问题切入,第9章”存储的设计原则”从”为什么没有一种数据库能通吃所有场景”讲到5种 存储场景的选型依据,都是典型的高浓度内容。
稳定性低:书中大量篇幅依赖具体技术栈的代码与实现细节展开论证——用 Netty 实现数据 采集服务器、用 CompletableFuture 实现单节点流处理、用 Redis/Apache Ignite 实现状态 管理、逐一介绍 Storm/Spark Streaming/Samza/Flink 四个开源框架的具体用法、用 Kafka/ RabbitMQ/Camel 做数据传输。作者在前言明确说”非目标”是教读者用某个具体框架,但实际章节 安排(尤其第2、3、6、8章)仍然绑定了这些工具当时的 API 形态,技术栈迭代后这部分会显著 过时。
综合来看,落在”工程实践”象限:讲透了不少可迁移的架构设计思路,但论证载体是随时间失效 的具体工具实现,因此不属于”经典原理”。
原书:books/架构归档7/实时流计算系统设计与实现.epub。EPUB 与解包缓存的 300 个文件逐字节一致;正文按 OPF spine 顺序,共 181 项。
历史章节表只有 11 个总章并全部标为 done,但缺少 _coverage.md,无法证明逐正文项已读。下面的实际正文项一律恢复为 pending;48 张旧知识卡保留,待逐项回读时核对归属与证据。
原概览写“机械工业出版社,2019”,EPUB 版权页写“纸版由机械工业出版社于2020年出版”。出版年待原书书目信息复核;不据此合并其他版次。
阅读单元、来源文件哈希及长节拆分范围见 _coverage.md。以下“卡片数”是已验证关联到具体正文项的数量;旧卡尚未完成关联,因此暂记 0。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 0 |
| 01 | 第1章 实时流计算 | done | 0 |
| 1.1 | 1.1 大数据时代的新挑战:实时流计算 | done | 0 |
| 1.2 | 1.2 实时流计算使用场景 | done | 0 |
| 1.3 | 1.3 实时流数据的特点 | done | 4 |
| 1.4 | 1.4 实时流计算系统架构 | done | 1 |
| 1.4.1 | 1.4.1 数据采集 | done | 1 |
| 1.4.2 | 1.4.2 数据传输 | done | 1 |
| 1.4.3 | 1.4.3 数据处理 | done | 0 |
| 1.4.4 | 1.4.4 数据存储 | done | 0 |
| 1.4.5 | 1.4.5 数据展示 | done | 0 |
| 1.5 | 1.5 本章小结 | done | 0 |
| 02 | 第2章 数据采集 | done | 0 |
| 2.1 | 2.1 设计数据采集的接口 | done | 2 |
| 2.2 | 2.2 使用Sprin Boot实现数据采集服务器 | done | 0 |
| 2.3 | 2.3 BIO与NIO | done | 0 |
| 2.3.1 | 2.3.1 BIO连接器 | done | 1 |
| 2.3.2 | 2.3.2 NIO连接器 | done | 1 |
| 2.4 | 2.4 NIO和异步 | done | 0 |
| 2.4.1 | 2.4.1 CPU密集型任务 | done | 0 |
| 2.4.2 | 2.4.2 I/O密集型任务 | done | 2 |
| 2.4.3 | 2.4.3 I/O和CPU都密集型任务 | done | 0 |
| 2.4.4 | 2.4.4 纤程 | done | 1 |
| 2.4.5 | 2.4.5 Actor | done | 1 |
| 2.4.6 | 2.4.6 NIO配合异步编程 | done | 1 |
| 2.5 | 2.5 使用Netty实现数据采集服务器 | done | 1 |
| 2.5.1 | 2.5.1 使用Netty实现数据采集API | done | 0 |
| 2.5.2 | 2.5.2 异步编程 | done | 2 |
| 2.5.3 | 2.5.3 流量控制和反向压力 | done | 1 |
| 2.5.4 | 2.5.4 实现反向压力 | done | 1 |
| 2.5.5 | 2.5.5 异步的不足之处 | done | 1 |
| 2.6 | 2.6 本章小结 | done | 1 |
| 03 | 第3章 实现单节点流计算应用 | done | 0 |
| 3.1 | 3.1 自己动手写实时流计算框架 | done | 1 |
| 3.1.1 | 3.1.1 用DAG描述流计算过程 | done | 1 |
| 3.1.2 | 3.1.2 造一个流计算框架的轮子 | done | 1 |
| 3.1.3 | 3.1.3 实现特征提取DAG节点 | done | 1 |
| 3.1.4 | 3.1.4 实现特征提取DAG拓扑 | done | 0 |
| 3.2 | 3.2 CompletableFuture方法与原理 | done | 1 |
| 3.2.1 | 3.2.1 常用的CompletableFuture类方法 | done | 5 |
| 3.2.2 | 3.2.2 CompletableFuture的工作原理 | done | 2 |
| 3.3 | 3.3 采用CompletableFuture实现单节点流处理 | done | 0 |
| 3.3.1 | 3.3.1 基于CompletableFuture实现流计算应用 | done | 1 |
| 3.3.2 | 3.3.2 反向压力 | done | 1 |
| 3.3.3 | 3.3.3 死锁 | done | 1 |
| 3.3.4 | 3.3.4 再论流与异步的关系 | done | 1 |
| 3.4 | 3.4 流计算应用的性能调优 | done | 0 |
| 3.4.1 | 3.4.1 优化机制 | done | 1 |
| 3.4.2 | 3.4.2 优化工具 | done | 3 |
| 3.4.3 | 3.4.3 线程状态 | done | 4 |
| 3.4.4 | 3.4.4 优化方向 | done | 2 |
| 3.5 | 3.5 本章小结 | done | 0 |
| 04 | 第4章 数据处理 | done | 0 |
| 4.1 | 4.1 流计算到底在计算什么 | done | 1 |
| 4.2 | 4.2 流数据操作 | done | 0 |
| 4.2.1 | 4.2.1 过滤 | done | 1 |
| 4.2.2 | 4.2.2 映射 | done | 1 |
| 4.2.3 | 4.2.3 展开映射 | done | 1 |
| 4.2.4 | 4.2.4 聚合 | done | 1 |
| 4.2.5 | 4.2.5 关联 | done | 1 |
| 4.2.6 | 4.2.6 分组 | done | 1 |
| 4.2.7 | 4.2.7 遍历 | done | 1 |
| 4.3 | 4.3 时间维度聚合特征计算 | done | 2 |
| 4.4 | 4.4 关联图谱特征计算 | done | 1 |
| 4.4.1 | 4.4.1 一度关联 | done | 2 |
| 4.4.2 | 4.4.2 二度关联 | done | 2 |
| 4.5 | 4.5 事件序列分析 | done | 1 |
| 4.5.1 | 4.5.1 CEP编程模式 | done | 1 |
| 4.5.2 | 4.5.2 Flink CEP实例 | done | 1 |
| 4.6 | 4.6 模型学习和预测 | done | 1 |
| 4.6.1 | 4.6.1 统计学习模型 | done | 1 |
| 4.6.2 | 4.6.2 P-value检验 | done | 1 |
| 4.6.3 | 4.6.3 机器学习模型 | done | 2 |
| 4.7 | 4.7 本章小结 | done | 0 |
| 05 | 第5章 实时流计算的状态管理 | done | 1 |
| 5.1 | 5.1 流的状态 | done | 2 |
| 5.1.1 | 5.1.1 流数据状态 | done | 1 |
| 5.1.2 | 5.1.2 流信息状态 | done | 0 |
| 5.2 | 5.2 采用Redis实现流信息状态管理 | done | 1 |
| 5.2.1 | 5.2.1 时间维度聚合特征计算 | done | 1 |
| 5.2.2 | 5.2.2 一度关联特征计算 | done | 1 |
| 5.3 | 5.3 采用Apache Ignite实现流信息状态管理 | done | 1 |
| 5.3.1 | 5.3.1 时间维度聚合分析 | done | 2 |
| 5.3.2 | 5.3.2 一度关联特征计算 | done | 1 |
| 5.4 | 5.4 扩展为集群 | done | 1 |
| 5.4.1 | 5.4.1 基于Redis的状态集群 | done | 0 |
| 5.4.2 | 5.4.2 局部性原理 | done | 1 |
| 5.4.3 | 5.4.3 批次请求处理 | done | 1 |
| 5.4.4 | 5.4.4 基于Apache Ignite的状态集群 | done | 0 |
| 5.4.5 | 5.4.5 基于分布式文件系统的状态管理集群 | done | 1 |
| 5.5 | 5.5 本章小结 | done | 1 |
| 06 | 第6章 开源流计算框架 | done | 1 |
| 6.1 | 6.1 Apache Storm | done | 0 |
| 6.1.1 | 6.1.1 系统架构 | done | 1 |
| 6.1.2 | 6.1.2 流的描述 | done | 1 |
| 6.1.3 | 6.1.3 流的执行 | done | 1 |
| 6.1.4 | 6.1.4 流的状态 | done | 1 |
| 6.1.5 | 6.1.5 消息传达可靠性保证 | done | 1 |
| 6.2 | 6.2 Spark Streaming | done | 0 |
| 6.2.1 | 6.2.1 系统架构 | done | 1 |
| 6.2.2 | 6.2.2 流的描述 | done | 1 |
| 6.2.3 | 6.2.3 流的执行 | done | 1 |
| 6.2.4 | 6.2.4 流的状态 | done | 1 |
| 6.2.5 | 6.2.5 消息传达可靠性保证 | done | 1 |
| 6.3 | 6.3 Apache Samza | done | 0 |
| 6.3.1 | 6.3.1 系统架构 | done | 1 |
| 6.3.2 | 6.3.2 流的描述 | done | 2 |
| 6.3.3 | 6.3.3 流的执行 | done | 1 |
| 6.3.4 | 6.3.4 流的状态 | done | 1 |
| 6.3.5 | 6.3.5 消息传达可靠性保证 | done | 1 |
| 6.4 | 6.4 Apache Flink | done | 0 |
| 6.4.1 | 6.4.1 系统架构 | done | 0 |
| 6.4.2 | 6.4.2 流的描述 | done | 1 |
| 6.4.3 | 6.4.3 流的执行 | done | 1 |
| 6.4.4 | 6.4.4 流的状态 | done | 2 |
| 6.4.5 | 6.4.5 消息传达可靠性 | done | 1 |
| 6.5 | 6.5 本章小结 | done | 0 |
| 07 | 第7章 当做不到实时 | done | 0 |
| 7.1 | 7.1 做不到实时的原因 | done | 1 |
| 7.2 | 7.2 Lambda架构 | done | 0 |
| 7.2.1 | 7.2.1 数据系统和Lambda架构思想 | done | 1 |
| 7.2.2 | 7.2.2 Lambda架构 | done | 1 |
| 7.2.3 | 7.2.3 Lambda架构在实时流计算中的运用 | done | 1 |
| 7.3 | 7.3 Kappa架构与架构实例 | done | 0 |
| 7.3.1 | 7.3.1 Kappa架构 | done | 1 |
| 7.3.2 | 7.3.2 Kappa架构实例 | done | 1 |
| 7.4 | 7.4 本章小结 | done | 0 |
| 08 | 第8章 数据传输 | done | 0 |
| 8.1 | 8.1 消息中间件 | done | 0 |
| 8.1.1 | 8.1.1 为什么使用消息中间件 | done | 1 |
| 8.1.2 | 8.1.2 消息中间件的工作模式 | done | 1 |
| 8.1.3 | 8.1.3 消息模式 | done | 1 |
| 8.1.4 | 8.1.4 使用消息中间件的注意事项 | done | 1 |
| 8.2 | 8.2 Apache Kafka | done | 0 |
| 8.2.1 | 8.2.1 Kafka架构 | done | 1 |
| 8.2.2 | 8.2.2 Kafka生产者 | done | 2 |
| 8.2.3 | 8.2.3 Kafka消费者 | done | 1 |
| 8.2.4 | 8.2.4 将Kafka用于数据总线 | done | 0 |
| 8.3 | 8.3 RabbitMQ | done | 0 |
| 8.3.1 | 8.3.1 RabbitMQ架构 | done | 1 |
| 8.3.2 | 8.3.2 RabbitMQ的使用 | done | 1 |
| 8.3.3 | 8.3.3 将RabbitMQ用于配置总线 | done | 1 |
| 8.4 | 8.4 Apache Camel | done | 1 |
| 8.4.1 | 8.4.1 使用Apache Camel集成系统 | done | 0 |
| 8.4.2 | 8.4.2 使用Apache camel管理流数据路由 | done | 1 |
| 8.5 | 8.5 本章小结 | done | 0 |
| 09 | 第9章 数据存储 | done | 0 |
| 9.1 | 9.1 存储的设计原则 | done | 1 |
| 9.2 | 9.2 点查询 | done | 1 |
| 9.2.1 | 9.2.1 数据灵活性 | done | 1 |
| 9.2.2 | 9.2.2 MongoDB数据库 | done | 1 |
| 9.2.3 | 9.2.3 数据过期和按时间分表 | done | 1 |
| 9.3 | 9.3 Ad-Hoc查询 | done | 0 |
| 9.3.1 | 9.3.1 倒排索引 | done | 1 |
| 9.3.2 | 9.3.2 ElasticSearch | done | 1 |
| 9.3.3 | 9.3.3 分索引存储 | done | 1 |
| 9.4 | 9.4 离线分析 | done | 0 |
| 9.4.1 | 9.4.1 存储 | done | 2 |
| 9.4.2 | 9.4.2 处理和分析 | done | 1 |
| 9.4.3 | 9.4.3 调度 | done | 1 |
| 9.5 | 9.5 关系型数据库查询 | done | 2 |
| 9.6 | 9.6 本章小结 | done | 0 |
| 10 | 第10章 服务治理和配置管理 | done | 0 |
| 10.1 | 10.1 服务治理 | done | 0 |
| 10.1.1 | 10.1.1 流服务和微服务 | done | 4 |
| 10.1.2 | 10.1.2 微服务框架Spring Cloud | done | 6 |
| 10.2 | 10.2 面向配置编程 | done | 0 |
| 10.2.1 | 10.2.1 面向配置编程思想 | done | 1 |
| 10.2.2 | 10.2.2 更高级的配置:领域特定语言 | done | 1 |
| 10.3 | 10.3 动态配置 | done | 4 |
| 10.4 | 10.4 将前端配置与后端服务配置隔离开 | done | 1 |
| 10.5 | 10.5 本章小结 | done | 0 |
| 11 | 第11章 实时流计算应用案例 | done | 0 |
| 11.1 | 11.1 实时流数据特征提取引擎 | done | 1 |
| 11.1.1 | 11.1.1 流数据特征提取引擎DSL定义 | done | 4 |
| 11.1.2 | 11.1.2 实现原理 | done | 2 |
| 11.1.3 | 11.1.3 具体实现 | done | 1 |
| 11.2 | 11.2 使用Flink实现风控引擎 | done | 0 |
| 11.2.1 | 11.2.1 实现原理 | done | 1 |
| 11.2.2 | 11.2.2 具体实现 | done | 2 |
| 11.3 | 11.3 本章小结 | done | 1 |
| spine项 | 章节号 | 正文源路径 |
|---|---|---|
| 3 | 00 | OEBPS/Text/chapter.xhtml |
| 4 | 01 | OEBPS/Text/chapter1.xhtml |
| 5 | 1.1 | OEBPS/Text/chapter2.xhtml |
| 6 | 1.2 | OEBPS/Text/chapter3.xhtml |
| 7 | 1.3 | OEBPS/Text/chapter4.xhtml |
| 8 | 1.4 | OEBPS/Text/chapter5.xhtml |
| 9 | 1.4.1 | OEBPS/Text/chapter6.xhtml |
| 10 | 1.4.2 | OEBPS/Text/chapter7.xhtml |
| 11 | 1.4.3 | OEBPS/Text/chapter8.xhtml |
| 12 | 1.4.4 | OEBPS/Text/chapter9.xhtml |
| 13 | 1.4.5 | OEBPS/Text/chapter10.xhtml |
| 14 | 1.5 | OEBPS/Text/chapter11.xhtml |
| 15 | 02 | OEBPS/Text/chapter12.xhtml |
| 16 | 2.1 | OEBPS/Text/chapter13.xhtml |
| 17 | 2.2 | OEBPS/Text/chapter14.xhtml |
| 18 | 2.3 | OEBPS/Text/chapter15.xhtml |
| 19 | 2.3.1 | OEBPS/Text/chapter16.xhtml |
| 20 | 2.3.2 | OEBPS/Text/chapter17.xhtml |
| 21 | 2.4 | OEBPS/Text/chapter18.xhtml |
| 22 | 2.4.1 | OEBPS/Text/chapter19.xhtml |
| 23 | 2.4.2 | OEBPS/Text/chapter20.xhtml |
| 24 | 2.4.3 | OEBPS/Text/chapter21.xhtml |
| 25 | 2.4.4 | OEBPS/Text/chapter22.xhtml |
| 26 | 2.4.5 | OEBPS/Text/chapter23.xhtml |
| 27 | 2.4.6 | OEBPS/Text/chapter24.xhtml |
| 28 | 2.5 | OEBPS/Text/chapter25.xhtml |
| 29 | 2.5.1 | OEBPS/Text/chapter26.xhtml |
| 30 | 2.5.2 | OEBPS/Text/chapter27.xhtml |
| 31 | 2.5.3 | OEBPS/Text/chapter28.xhtml |
| 32 | 2.5.4 | OEBPS/Text/chapter29.xhtml |
| 33 | 2.5.5 | OEBPS/Text/chapter30.xhtml |
| 34 | 2.6 | OEBPS/Text/chapter31.xhtml |
| 35 | 03 | OEBPS/Text/chapter32.xhtml |
| 36 | 3.1 | OEBPS/Text/chapter33.xhtml |
| 37 | 3.1.1 | OEBPS/Text/chapter34.xhtml |
| 38 | 3.1.2 | OEBPS/Text/chapter35.xhtml |
| 39 | 3.1.3 | OEBPS/Text/chapter36.xhtml |
| 40 | 3.1.4 | OEBPS/Text/chapter37.xhtml |
| 41 | 3.2 | OEBPS/Text/chapter38.xhtml |
| 42 | 3.2.1 | OEBPS/Text/chapter39.xhtml |
| 43 | 3.2.2 | OEBPS/Text/chapter40.xhtml |
| 44 | 3.3 | OEBPS/Text/chapter41.xhtml |
| 45 | 3.3.1 | OEBPS/Text/chapter42.xhtml |
| 46 | 3.3.2 | OEBPS/Text/chapter43.xhtml |
| 47 | 3.3.3 | OEBPS/Text/chapter44.xhtml |
| 48 | 3.3.4 | OEBPS/Text/chapter45.xhtml |
| 49 | 3.4 | OEBPS/Text/chapter46.xhtml |
| 50 | 3.4.1 | OEBPS/Text/chapter47.xhtml |
| 51 | 3.4.2 | OEBPS/Text/chapter48.xhtml |
| 52 | 3.4.3 | OEBPS/Text/chapter49.xhtml |
| 53 | 3.4.4 | OEBPS/Text/chapter50.xhtml |
| 54 | 3.5 | OEBPS/Text/chapter51.xhtml |
| 55 | 04 | OEBPS/Text/chapter52.xhtml |
| 56 | 4.1 | OEBPS/Text/chapter53.xhtml |
| 57 | 4.2 | OEBPS/Text/chapter54.xhtml |
| 58 | 4.2.1 | OEBPS/Text/chapter55.xhtml |
| 59 | 4.2.2 | OEBPS/Text/chapter56.xhtml |
| 60 | 4.2.3 | OEBPS/Text/chapter57.xhtml |
| 61 | 4.2.4 | OEBPS/Text/chapter58.xhtml |
| 62 | 4.2.5 | OEBPS/Text/chapter59.xhtml |
| 63 | 4.2.6 | OEBPS/Text/chapter60.xhtml |
| 64 | 4.2.7 | OEBPS/Text/chapter61.xhtml |
| 65 | 4.3 | OEBPS/Text/chapter62.xhtml |
| 66 | 4.4 | OEBPS/Text/chapter63.xhtml |
| 67 | 4.4.1 | OEBPS/Text/chapter64.xhtml |
| 68 | 4.4.2 | OEBPS/Text/chapter65.xhtml |
| 69 | 4.5 | OEBPS/Text/chapter66.xhtml |
| 70 | 4.5.1 | OEBPS/Text/chapter67.xhtml |
| 71 | 4.5.2 | OEBPS/Text/chapter68.xhtml |
| 72 | 4.6 | OEBPS/Text/chapter69.xhtml |
| 73 | 4.6.1 | OEBPS/Text/chapter70.xhtml |
| 74 | 4.6.2 | OEBPS/Text/chapter71.xhtml |
| 75 | 4.6.3 | OEBPS/Text/chapter72.xhtml |
| 76 | 4.7 | OEBPS/Text/chapter73.xhtml |
| 77 | 05 | OEBPS/Text/chapter74.xhtml |
| 78 | 5.1 | OEBPS/Text/chapter75.xhtml |
| 79 | 5.1.1 | OEBPS/Text/chapter76.xhtml |
| 80 | 5.1.2 | OEBPS/Text/chapter77.xhtml |
| 81 | 5.2 | OEBPS/Text/chapter78.xhtml |
| 82 | 5.2.1 | OEBPS/Text/chapter79.xhtml |
| 83 | 5.2.2 | OEBPS/Text/chapter80.xhtml |
| 84 | 5.3 | OEBPS/Text/chapter81.xhtml |
| 85 | 5.3.1 | OEBPS/Text/chapter82.xhtml |
| 86 | 5.3.2 | OEBPS/Text/chapter83.xhtml |
| 87 | 5.4 | OEBPS/Text/chapter84.xhtml |
| 88 | 5.4.1 | OEBPS/Text/chapter85.xhtml |
| 89 | 5.4.2 | OEBPS/Text/chapter86.xhtml |
| 90 | 5.4.3 | OEBPS/Text/chapter87.xhtml |
| 91 | 5.4.4 | OEBPS/Text/chapter88.xhtml |
| 92 | 5.4.5 | OEBPS/Text/chapter89.xhtml |
| 93 | 5.5 | OEBPS/Text/chapter90.xhtml |
| 94 | 06 | OEBPS/Text/chapter91.xhtml |
| 95 | 6.1 | OEBPS/Text/chapter92.xhtml |
| 96 | 6.1.1 | OEBPS/Text/chapter93.xhtml |
| 97 | 6.1.2 | OEBPS/Text/chapter94.xhtml |
| 98 | 6.1.3 | OEBPS/Text/chapter95.xhtml |
| 99 | 6.1.4 | OEBPS/Text/chapter96.xhtml |
| 100 | 6.1.5 | OEBPS/Text/chapter97.xhtml |
| 101 | 6.2 | OEBPS/Text/chapter98.xhtml |
| 102 | 6.2.1 | OEBPS/Text/chapter99.xhtml |
| 103 | 6.2.2 | OEBPS/Text/chapter100.xhtml |
| 104 | 6.2.3 | OEBPS/Text/chapter101.xhtml |
| 105 | 6.2.4 | OEBPS/Text/chapter102.xhtml |
| 106 | 6.2.5 | OEBPS/Text/chapter103.xhtml |
| 107 | 6.3 | OEBPS/Text/chapter104.xhtml |
| 108 | 6.3.1 | OEBPS/Text/chapter105.xhtml |
| 109 | 6.3.2 | OEBPS/Text/chapter106.xhtml |
| 110 | 6.3.3 | OEBPS/Text/chapter107.xhtml |
| 111 | 6.3.4 | OEBPS/Text/chapter108.xhtml |
| 112 | 6.3.5 | OEBPS/Text/chapter109.xhtml |
| 113 | 6.4 | OEBPS/Text/chapter110.xhtml |
| 114 | 6.4.1 | OEBPS/Text/chapter111.xhtml |
| 115 | 6.4.2 | OEBPS/Text/chapter112.xhtml |
| 116 | 6.4.3 | OEBPS/Text/chapter113.xhtml |
| 117 | 6.4.4 | OEBPS/Text/chapter114.xhtml |
| 118 | 6.4.5 | OEBPS/Text/chapter115.xhtml |
| 119 | 6.5 | OEBPS/Text/chapter116.xhtml |
| 120 | 07 | OEBPS/Text/chapter117.xhtml |
| 121 | 7.1 | OEBPS/Text/chapter118.xhtml |
| 122 | 7.2 | OEBPS/Text/chapter119.xhtml |
| 123 | 7.2.1 | OEBPS/Text/chapter120.xhtml |
| 124 | 7.2.2 | OEBPS/Text/chapter121.xhtml |
| 125 | 7.2.3 | OEBPS/Text/chapter122.xhtml |
| 126 | 7.3 | OEBPS/Text/chapter123.xhtml |
| 127 | 7.3.1 | OEBPS/Text/chapter124.xhtml |
| 128 | 7.3.2 | OEBPS/Text/chapter125.xhtml |
| 129 | 7.4 | OEBPS/Text/chapter126.xhtml |
| 130 | 08 | OEBPS/Text/chapter127.xhtml |
| 131 | 8.1 | OEBPS/Text/chapter128.xhtml |
| 132 | 8.1.1 | OEBPS/Text/chapter129.xhtml |
| 133 | 8.1.2 | OEBPS/Text/chapter130.xhtml |
| 134 | 8.1.3 | OEBPS/Text/chapter131.xhtml |
| 135 | 8.1.4 | OEBPS/Text/chapter132.xhtml |
| 136 | 8.2 | OEBPS/Text/chapter133.xhtml |
| 137 | 8.2.1 | OEBPS/Text/chapter134.xhtml |
| 138 | 8.2.2 | OEBPS/Text/chapter135.xhtml |
| 139 | 8.2.3 | OEBPS/Text/chapter136.xhtml |
| 140 | 8.2.4 | OEBPS/Text/chapter137.xhtml |
| 141 | 8.3 | OEBPS/Text/chapter138.xhtml |
| 142 | 8.3.1 | OEBPS/Text/chapter139.xhtml |
| 143 | 8.3.2 | OEBPS/Text/chapter140.xhtml |
| 144 | 8.3.3 | OEBPS/Text/chapter141.xhtml |
| 145 | 8.4 | OEBPS/Text/chapter142.xhtml |
| 146 | 8.4.1 | OEBPS/Text/chapter143.xhtml |
| 147 | 8.4.2 | OEBPS/Text/chapter144.xhtml |
| 148 | 8.5 | OEBPS/Text/chapter145.xhtml |
| 149 | 09 | OEBPS/Text/chapter146.xhtml |
| 150 | 9.1 | OEBPS/Text/chapter147.xhtml |
| 151 | 9.2 | OEBPS/Text/chapter148.xhtml |
| 152 | 9.2.1 | OEBPS/Text/chapter149.xhtml |
| 153 | 9.2.2 | OEBPS/Text/chapter150.xhtml |
| 154 | 9.2.3 | OEBPS/Text/chapter151.xhtml |
| 155 | 9.3 | OEBPS/Text/chapter152.xhtml |
| 156 | 9.3.1 | OEBPS/Text/chapter153.xhtml |
| 157 | 9.3.2 | OEBPS/Text/chapter154.xhtml |
| 158 | 9.3.3 | OEBPS/Text/chapter155.xhtml |
| 159 | 9.4 | OEBPS/Text/chapter156.xhtml |
| 160 | 9.4.1 | OEBPS/Text/chapter157.xhtml |
| 161 | 9.4.2 | OEBPS/Text/chapter158.xhtml |
| 162 | 9.4.3 | OEBPS/Text/chapter159.xhtml |
| 163 | 9.5 | OEBPS/Text/chapter160.xhtml |
| 164 | 9.6 | OEBPS/Text/chapter161.xhtml |
| 165 | 10 | OEBPS/Text/chapter162.xhtml |
| 166 | 10.1 | OEBPS/Text/chapter163.xhtml |
| 167 | 10.1.1 | OEBPS/Text/chapter164.xhtml |
| 168 | 10.1.2 | OEBPS/Text/chapter165.xhtml |
| 169 | 10.2 | OEBPS/Text/chapter166.xhtml |
| 170 | 10.2.1 | OEBPS/Text/chapter167.xhtml |
| 171 | 10.2.2 | OEBPS/Text/chapter168.xhtml |
| 172 | 10.3 | OEBPS/Text/chapter169.xhtml |
| 173 | 10.4 | OEBPS/Text/chapter170.xhtml |
| 174 | 10.5 | OEBPS/Text/chapter171.xhtml |
| 175 | 11 | OEBPS/Text/chapter172.xhtml |
| 176 | 11.1 | OEBPS/Text/chapter173.xhtml |
| 177 | 11.1.1 | OEBPS/Text/chapter174.xhtml |
| 178 | 11.1.2 | OEBPS/Text/chapter175.xhtml |
| 179 | 11.1.3 | OEBPS/Text/chapter176.xhtml |
| 180 | 11.2 | OEBPS/Text/chapter177.xhtml |
| 181 | 11.2.1 | OEBPS/Text/chapter178.xhtml |
| 182 | 11.2.2 | OEBPS/Text/chapter179.xhtml |
| 183 | 11.3 | OEBPS/Text/chapter180.xhtml |
| spine项 | 类型 | 排除理由 |
|---|---|---|
spine 1 / titlepage |
扉页 | titlepage.xhtml 无正文 |
spine 2 / copyright.xhtml |
版权页 | OEBPS/Text/copyright.xhtml 是版权信息,不属于论述正文 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| DAG(有向无环图) | 1.4.3 | 原文称其用于描述流计算过程,但未展开机制。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 核算风控窗口的状态上限 | 证据验证 | done | 11.2.2 | 窗口边界对照表与代码证据清单 |
| 002 | 列出事件分身合并的失败出口 | 证据验证 | done | 11.2.2 | 合并状态转移表与源码位置 |
候选筛选:未采用“重写完整流计算框架”,现有章节机制可先由源码与合成输入验证;未采用直接调整真实风控规则,书中阈值缺少效果证据且涉及实际资金风险。以上是实践计划,未执行卡中行动。
| 必答维度 | 状态 | 现有卡片与核对结论 |
|---|---|---|
| 计算模型与数据流图 | 已覆盖 | [[流计算框架的最小充分模型]]、[[流应用由源转换和汇组成]]覆盖流、算子、源与汇的基本模型。 |
| 时间语义与窗口 | 已覆盖 | [[水印机制给乱序数据设定等待期限]]、[[业务聚合窗口不等于流数据窗口]]区分乱序等待、窗口含义与边界。 |
| 状态管理 | 已覆盖 | [[流计算状态是运行中积累的数据]]、[[键控状态按键隔离]]、[[算子状态按并行实例划分]]覆盖状态分类、作用域与恢复前提。 |
| 流量控制与反压 | 已覆盖 | [[有界传输队列传播反压]]、[[执行器承担异步链反压]]覆盖队列容量、异步执行和压力传播。 |
| 分区、并行与伸缩 | 已覆盖 | [[分组是分布式流计算的核心机制]]、[[任务数由分区数决定]]覆盖键分组、分区并行度与伸缩约束。 |
| 容错与处理语义 | 已覆盖 | [[内部精确一次不等于端到端]]、[[本地状态靠变更日志恢复]]、[[至少一次处理要求幂等更新]]覆盖恢复与输出边界。 |
| 数据传输、存储与查询 | 已覆盖 | [[消息中间件选型五指标]]、[[重放依赖保留范围与消费位置]]、[[没有万能数据库]]覆盖传输、保留和查询场景选型。 |
| 平台选型、治理与适用边界 | 已覆盖 | [[流计算平台五维评估]]、[[流服务可复用框架治理]]、[[动态配置系统的责任边界]]覆盖框架评估、治理和配置边界。 |
notes/_topics/*.md 为真源,未把实践计划卡纳入索引。| 卡片范围 | 数量 | 结论 | 主题或理由 |
|---|---|---|---|
| [[流处理与批处理的本质区别]]、[[反向压力让上游感知下游处理能力]]、[[流是异步的一种自然表现形式]]、[[有界队列拒绝重试实现反压]]、[[执行器承担异步链反压]]、[[Storm反压观察阶段队列]]、[[微批反压按处理速度调输入]]、[[有界传输队列传播反压]] | 8 | 已复用 | [[流式处理与背压]];共同讨论流式处理、缓冲上限和压力传播。 |
| [[用队列解耦生产者与消费者的步调]]、[[消息中间件隔离业务模块]]、[[订阅组兼顾分发与负载均衡]]、[[消息模式演进要检验双向兼容]]、[[重放依赖保留范围与消费位置]]、[[主题按分区存储并配置副本]]、[[确认级别不决定调用同步性]]、[[批量发送以吞吐换等待]]、[[组内消费并行度受分区约束]]、[[交换器按绑定规则路由消息]]、[[资源声明不应依赖启动顺序]] | 11 | 已复用 | [[消息代理与事件日志]];覆盖缓冲、消费、分区、确认、重放和路由取舍。 |
| [[Lambda架构三层职责]]、[[Kappa用流统一批与增量]]、[[流节点可直接使用离线结果]]、[[批流结果合并先对齐时间边界]]、[[没有万能数据库]] | 5 | 已复用 | [[数据流与分拆数据库]];覆盖批流衍生结果、多存储协作和数据系统分工。 |
ch01-* 中除上表已复用卡外 |
6 | 无需加入 | 本章其余卡是本书的系统分段、数据特性与采集选型,现有主题没有更精确且稳定的跨书聚合目标。 |
ch02-* 中除上表已复用卡外 |
12 | 无需加入 | 其余内容分属线程数、纤程、风控和 Netty/NIO 实现,强行并入宽泛主题会降低索引纯度。 |
ch03-* 中除上表已复用卡外 |
25 | 无需加入 | 其余内容是 CompletableFuture 编排、特征提取与性能诊断的章节内机制,暂不扩张现有主题。 |
ch04-* |
23 | 无需加入 | 算子、图关联、CEP 与在线模型各自数量不足以形成新的跨书稳定主题;本轮不创建新索引。 |
ch05-* |
16 | 无需加入 | 状态存储、窗口去重和恢复机制目前主要构成本书内部知识簇,现有主题粒度不匹配。 |
ch06-* 中除上表已复用卡外 |
19 | 无需加入 | 其余卡是 Storm、Spark Streaming、Samza、Flink 的版本性平台机制,不混入更稳定的通用主题。 |
ch07-* 中除上表已复用卡外 |
2 | 无需加入 | “做不到实时”的原因与知识/查询分离是本章过渡性论点,缺少合适的现有跨书主题。 |
ch08-* 中除上表已复用卡外 |
3 | 无需加入 | 配置总线、消息服务层和动态路由更接近本书集成实现,暂不并入消息代理主题。 |
ch09-* 中除上表已复用卡外 |
13 | 无需加入 | 点查、倒排索引、离线分区和副本新鲜度跨多个存储子题,当前不新增宽泛索引。 |
ch10-* |
17 | 无需加入 | 微服务治理、动态配置与领域语言横跨多个主题;现有 Markdown 主题没有精确覆盖该组合。 |
ch11-* |
12 | 无需加入 | 特征引擎 DSL 与风控案例属于本书实现案例,保留在书内分支即可。 |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较服务资产、生命周期、依赖关系与运行策略如何形成可观测、可诊断、可执行的治理闭环。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
Trace/Span 模型、标识与上下文传播、采样取舍、OpenTelemetry 与采集器管道。
主题索引
比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
Future 先给契约、回调反转调用方向,Promise 三态与 then 链、async/await 与 generator 把异步写成线性,阶段式组合(Compose/AllOf/择快)在异常传播与线程归属上的差异,以及回调地狱与 Zalgo 这类时序陷阱。
主题索引
互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。
主题索引
比较全文检索的索引粒度、倒排列表压缩、签名文件与位图、布尔查询加速与索引构造算法,以及压缩索引如何同时省空间和提速。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。
主题索引
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
主题索引
解耦、异步、削峰、缓冲四类价值各自的机制与代价:什么时候值得用队列,什么情况下队列并不救你,以及队列把复杂度转移到了哪里。
主题索引
比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
有状态流处理的存储与恢复:键控状态与算子状态、本地与外部状态、变更日志与检查点、精确一次与幂等、ACK 与重放、状态规模爆炸与迁移重建。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
主题索引
原子不等于易变、volatile 不等于互斥,读改写为什么必须整体原子,竞态与数据争用的判定,内存屏障与顺序一致,双重检查锁与懒加载的发布问题,以及 Race 检测只覆盖运行路径的局限。
主题索引
具体框架的执行模型与接入方式:Storm 拓扑与调优、Spark Streaming 的 RDD 与 DStream 微批、Kafka Streams 的表流对偶、Flume 管道,以及各框架的语义边界与已知坑。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。
主题索引
从最小二乘与线性/逻辑回归出发,梯度下降、随机梯度、牛顿法、AdaGrad/RMSProp 各自在改什么;L1/L2 惩罚为什么是不同目标;在线学习与专家算法(Hedge、乘性权重、遗憾界)如何在只有过去反馈时更新。
主题索引
比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。
主题索引
背压的成因与实现手段:下游余量怎样反馈给上游、有界队列与拉取模型、缓冲放在哪一层、哪些缓冲只是把过载推迟,以及吞吐由最慢节点决定的后果。
主题索引
TensorFlow 的集群三层、Session/Strategy、变量分片与远程执行怎样把一张图铺到多机;Spark/RDD、Twister、MR 与 MPI 混合怎样支撑迭代计算;MLLib 的 Pipeline 抽象与库能力边界。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
比较用户态协程、M:N 调度、工作窃取与抢占等调度器设计。
主题索引
以图为一等对象的计算怎么做:图为什么和存储耦合、点切与边切怎么权衡、顶点中心编程与消息传递、BSP 超级步与同步异步取舍、迭代代价与检查点,以及连通分量、二度关联这类图算法的落地方式。
主题索引
比较 Actor 以无共享状态、单消息处理、行为切换和引用能力组织并发的方式,以及监督层级、远程与集群、调度器与测试对韧性和性能的影响。
主题索引
比较按调用方、业务键和分组限定可见实例,再分配流量及动态调整分组容量的做法。
主题索引
比较 CAS、原子类、热点分散与 ABA 等无锁编程机制及其适用边界。