来源书籍

数据工程之道-设计和构建健壮的数据系统

Skill 版本:v23 数据工程与数据架构方法类 工程实践(高信息浓度 + 低稳定性) 145 张卡片

乔·里斯(Joe Reis)、马特·豪斯利(Matt Housley) · 王梦蛟、阳沁珂、李佳宁、李卓恒 译 · 机械工业出版社 · 2024-02 · ISBN 9787111745273

类别清单覆盖

尚未完成类别清单核对。

章节与卡片

01 第1章 数据工程概述

6 张卡片
  1. 数据工程的定义 理解等级:初级 普通读书笔记卡
  2. 从大数据工程师到生命周期工程师 理解等级:中级 普通读书笔记卡
  3. 数据工程在数据科学上游 理解等级:初级 普通读书笔记卡
  4. 数据成熟度的三个阶段 理解等级:中级 普通读书笔记卡
  5. A型与B型数据工程师 理解等级:中级 普通读书笔记卡
  6. 数据工程师的上下游与方向 理解等级:初级 普通读书笔记卡

02 第2章 数据工程生命周期

10 张卡片
  1. 评估源系统的问题清单 理解等级:中级 普通读书笔记卡
  2. 存储选型与数据温度 理解等级:中级 普通读书笔记卡
  3. 批量获取是一扇单向门 理解等级:中级 普通读书笔记卡
  4. 推送、拉取与CDC的三种做法 理解等级:中级 普通读书笔记卡
  5. 数据只有被使用才有价值 理解等级:中级 普通读书笔记卡
  6. 安全底层设计:最小特权 理解等级:初级 普通读书笔记卡
  7. 数据治理的三个核心类别 理解等级:中级 普通读书笔记卡
  8. 建模血缘与数据销毁 理解等级:中级 普通读书笔记卡
  9. DataOps的三大支柱 理解等级:中级 普通读书笔记卡
  10. 编排不只是调度 理解等级:中级 普通读书笔记卡

03 第3章 设计好的数据架构

13 张卡片
  1. 数据架构靠可逆决策 理解等级:中级 普通读书笔记卡
  2. 好架构追求最不差 理解等级:中级 普通读书笔记卡
  3. 九条数据架构原则 理解等级:中级 普通读书笔记卡
  4. 松耦合源自贝索斯API指令 理解等级:中级 普通读书笔记卡
  5. 每个数据工程师都是安全工程师 理解等级:中级 普通读书笔记卡
  6. FinOps与成本攻击 理解等级:中级 普通读书笔记卡
  7. 单体可以作为起点 理解等级:中级 普通读书笔记卡
  8. 棕地用绞杀者,绿地防简历驱动 理解等级:中级 普通读书笔记卡
  9. 从数据仓库到云数据仓库 理解等级:中级 普通读书笔记卡
  10. 数据湖1.0为何沦为沼泽 理解等级:中级 普通读书笔记卡
  11. 从Lambda到批是流的特例 理解等级:高级 普通读书笔记卡
  12. 物联网数据链路 理解等级:中级 普通读书笔记卡
  13. 数据网格的四个组成 理解等级:中级 普通读书笔记卡

04 第4章 根据数据生命周期选择技术

11 张卡片
  1. 架构第一,技术第二 理解等级:初级 普通读书笔记卡
  2. 总拥有机会成本 理解等级:中级 普通读书笔记卡
  3. 以林迪效应识别不变技术 理解等级:中级 普通读书笔记卡
  4. 云不等于本地 理解等级:高级 普通读书笔记卡
  5. 没有理由就选单云 理解等级:中级 普通读书笔记卡
  6. 你不是Dropbox 理解等级:中级 普通读书笔记卡
  7. 买轮胎不必自己造 理解等级:中级 普通读书笔记卡
  8. 分布式单体的依赖冲突 理解等级:高级 普通读书笔记卡
  9. 无服务器先建成本模型 理解等级:中级 普通读书笔记卡
  10. 识破基准测试的三种花招 理解等级:中级 普通读书笔记卡
  11. 用底层设计审视选型 理解等级:中级 普通读书笔记卡

05 第5章 源系统中的数据生成

15 张卡片
  1. 先懂源系统再取数 理解等级:初级 普通读书笔记卡
  2. OLTP与OLAP的分工 理解等级:初级 普通读书笔记卡
  3. 日志三要素与编码 理解等级:初级 普通读书笔记卡
  4. 仅插入模式的利弊 理解等级:中级 普通读书笔记卡
  5. 消息与流的区别 理解等级:初级 普通读书笔记卡
  6. 四种时间要分开记 理解等级:初级 普通读书笔记卡
  7. 评估源数据库的七问 理解等级:中级 普通读书笔记卡
  8. 文档库的取数陷阱 理解等级:中级 普通读书笔记卡
  9. 宽列、图、搜索与时序 理解等级:中级 普通读书笔记卡
  10. 四类API取数方式 理解等级:中级 普通读书笔记卡
  11. 数据共享与第三方数据 理解等级:初级 普通读书笔记卡
  12. 别假设消息有序 理解等级:中级 普通读书笔记卡
  13. 流分区键防热点 理解等级:中级 普通读书笔记卡
  14. 与源系统签数据契约 理解等级:初级 普通读书笔记卡
  15. 源系统底层设计清单 理解等级:中级 普通读书笔记卡

06 第6章 存储

16 张卡片
  1. 存储的三层视角 理解等级:初级 普通读书笔记卡
  2. 磁盘的四个物理极限 理解等级:中级 普通读书笔记卡
  3. 内存快但易失 理解等级:初级 普通读书笔记卡
  4. 序列化、压缩与缓存层 理解等级:中级 普通读书笔记卡
  5. 一致性是技术也是组织问题 理解等级:中级 普通读书笔记卡
  6. 文件存储与块存储 理解等级:中级 普通读书笔记卡
  7. EBS与实例存储选型 理解等级:中级 普通读书笔记卡
  8. 对象存储:不可变的键值 理解等级:中级 普通读书笔记卡
  9. 对象存储强一致与版本 理解等级:高级 普通读书笔记卡
  10. 缓存、HDFS与流存储 理解等级:中级 普通读书笔记卡
  11. 从索引到分区与聚类 理解等级:中级 普通读书笔记卡
  12. 仓、湖、湖仓与平台 理解等级:中级 普通读书笔记卡
  13. 写时模式与读时模式 理解等级:初级 普通读书笔记卡
  14. 存算分离为何仍要混合 理解等级:高级 普通读书笔记卡
  15. 数据温度与保留策略 理解等级:中级 普通读书笔记卡
  16. 存储的底层设计要点 理解等级:中级 普通读书笔记卡

07 第7章 获取

17 张卡片
  1. 获取与数据管道定义 理解等级:初级 普通读书笔记卡
  2. 设计获取前的八问 理解等级:初级 普通读书笔记卡
  3. 同步管道失败全量重跑 理解等级:中级 普通读书笔记卡
  4. 吞吐、可靠性与成本权衡 理解等级:中级 普通读书笔记卡
  5. 有效负载与模式变化 理解等级:中级 普通读书笔记卡
  6. 批量获取的常见模式 理解等级:中级 普通读书笔记卡
  7. 流式获取的六个关注点 理解等级:中级 普通读书笔记卡
  8. 死信队列隔离坏事件 理解等级:中级 普通读书笔记卡
  9. JDBC与ODBC直连局限 理解等级:中级 普通读书笔记卡
  10. 批量CDC丢失中间变化 理解等级:中级 普通读书笔记卡
  11. CDC复制与读副本 理解等级:高级 普通读书笔记卡
  12. 优先托管连接器 理解等级:初级 普通读书笔记卡
  13. 文件交换与CSV陷阱 理解等级:中级 普通读书笔记卡
  14. 其他获取方式的取舍 理解等级:中级 普通读书笔记卡
  15. 获取阶段的上下游协作 理解等级:初级 普通读书笔记卡
  16. 获取阶段的底层设计 理解等级:中级 普通读书笔记卡
  17. 获取监控与数据质量 理解等级:中级 普通读书笔记卡

08 第8章 查询、建模和转换

25 张卡片
  1. 查询的生命周期 理解等级:初级 普通读书笔记卡
  2. 预连接与行爆炸 理解等级:中级 普通读书笔记卡
  3. 解释计划与剪枝 理解等级:中级 普通读书笔记卡
  4. 三种提交模型对比 理解等级:高级 普通读书笔记卡
  5. 清理死记录与结果缓存 理解等级:中级 普通读书笔记卡
  6. 快速追随者与Kappa 理解等级:中级 普通读书笔记卡
  7. 流窗口与水印 理解等级:中级 普通读书笔记卡
  8. 流与其他数据结合 理解等级:高级 普通读书笔记卡
  9. 数据模型连接业务 理解等级:初级 普通读书笔记卡
  10. 建模保持最低粒度 理解等级:中级 普通读书笔记卡
  11. 三大范式拆订单表 理解等级:中级 普通读书笔记卡
  12. Inmon与Kimball之别 理解等级:中级 普通读书笔记卡
  13. 缓慢变化维度三类 理解等级:中级 普通读书笔记卡
  14. Data Vault三类表 理解等级:高级 普通读书笔记卡
  15. 宽表与不建模的代价 理解等级:中级 普通读书笔记卡
  16. 转换是持久化的查询 理解等级:初级 普通读书笔记卡
  17. 广播连接与洗牌连接 理解等级:高级 普通读书笔记卡
  18. 何时用Spark代替SQL 理解等级:高级 普通读书笔记卡
  19. 列式库的更新与合并 理解等级:高级 普通读书笔记卡
  20. 模式更新与JSON列 理解等级:中级 普通读书笔记卡
  21. 业务逻辑与度量层 理解等级:中级 普通读书笔记卡
  22. MapReduce与内存处理 理解等级:中级 普通读书笔记卡
  23. 视图、联邦与虚拟化 理解等级:高级 普通读书笔记卡
  24. 微批与真正流处理 理解等级:中级 普通读书笔记卡
  25. 转换阶段的协作与底层设计 理解等级:中级 普通读书笔记卡

09 第9章 为分析、机器学习和反向ETL提供数据服务

14 张卡片
  1. 信任是数据服务之本 理解等级:初级 普通读书笔记卡
  2. 从用例和用户倒推 理解等级:初级 普通读书笔记卡
  3. 自助服务为何难成 理解等级:中级 普通读书笔记卡
  4. 显式声明定义与逻辑 理解等级:中级 普通读书笔记卡
  5. 业务分析:仪表板到专项 理解等级:初级 普通读书笔记卡
  6. 运营分析促成即时行动 理解等级:中级 普通读书笔记卡
  7. 嵌入式分析三大挑战 理解等级:中级 普通读书笔记卡
  8. 数据工程师的ML素养 理解等级:中级 普通读书笔记卡
  9. 文件交换与数据库服务 理解等级:中级 普通读书笔记卡
  10. 联邦查询与数据共享 理解等级:中级 普通读书笔记卡
  11. 度量层回答数字对吗 理解等级:中级 普通读书笔记卡
  12. notebook凭证与扩展 理解等级:中级 普通读书笔记卡
  13. 反向ETL与失控反馈 理解等级:中级 普通读书笔记卡
  14. 服务阶段的职责与底层设计 理解等级:中级 普通读书笔记卡

10 第10章 安全和隐私

6 张卡片
  1. 人是最薄弱的环节 理解等级:初级 普通读书笔记卡
  2. 拒绝表演式安全 理解等级:初级 普通读书笔记卡
  3. 备份与安全政策范例 理解等级:初级 普通读书笔记卡
  4. 加密不是万能的 理解等级:中级 普通读书笔记卡
  5. 安全监控的四个维度 理解等级:中级 普通读书笔记卡
  6. 网络访问与底层安全 理解等级:中级 普通读书笔记卡

11 第11章 数据工程的未来

5 张卡片
  1. 工具越简单工程师越上移 理解等级:初级 普通读书笔记卡
  2. 云数据操作系统 理解等级:中级 普通读书笔记卡
  3. 数据角色边界的融合 理解等级:初级 普通读书笔记卡
  4. 从现代数据栈到实时 理解等级:中级 普通读书笔记卡
  5. 应用、数据与ML融合 理解等级:中级 普通读书笔记卡

00 前言

1 张卡片
  1. 只写不随工具过时的准则 理解等级:初级 普通读书笔记卡

12 附录A 序列化和压缩技术的细节

4 张卡片
  1. 行式序列化格式取舍 理解等级:中级 普通读书笔记卡
  2. 列式序列化与Parquet 理解等级:中级 普通读书笔记卡
  3. Arrow与混合序列化 理解等级:高级 普通读书笔记卡
  4. 压缩算法的速度取向 理解等级:初级 普通读书笔记卡

13 附录B 云网络

2 张卡片
  1. 可用区、区域与出口费 理解等级:中级 普通读书笔记卡
  2. 出口费是云的护城河 理解等级:中级 普通读书笔记卡

全书概览

数据工程之道:设计和构建健壮的数据系统

Skill 版本:v23

  • 本次实际使用规则:book-notes v23 / book-workflow v4(2026-10-24 轻量模式首次完整生成);2026-09-26 的旧版 v8 输入预检、原文核验与待确认项记录保留在 _workflow.md。

作者:乔·里斯(Joe Reis)、马特·豪斯利(Matt Housley)著;王梦蛟、阳沁珂、李佳宁、李卓恒译;机械工业出版社,2024 年 2 月(版权页),ISBN 9787111745273

执行模式:light

建档进度:done

整书笔记:_book_note.md(schema 1;SHA-256 9bac2c268406cace5414617a08e8d186d79d533826b5cd1e6bae403e48b423d8)

整体评级

四象限结论:工程实践(高信息浓度 + 低稳定性)

评级理由:

信息浓度高:全书用“生命周期五阶段 + 六个底层设计”一套框架组织全部内容,几乎每个主题都给出取舍和反例,例如批量 CDC 只能拿到变化行、拿不到中间变化,要改用仅插入或基于日志的 CDC;列式库逐行插入和近实时 merge 会拖垮系统,每小时合并更合理;对象存储没有真正的目录,前缀 ls 很贵;在对象存储上实现强一致要借助强一致数据库记录版本元数据;同步管道一步失败要全量重跑;零拷贝克隆后删除原文件可能抹掉克隆;反向 ETL 的出价反馈循环可能失控烧钱。

稳定性偏低:生命周期、可逆决策、范式化与 Kimball/Inmon/Data Vault、批是流的特例、数据契约、最小权限等原则可迁移性好,但全书大量篇幅依赖 2022 年前后的云产品与市场格局——S3 存储层级与价格、Kinesis/Kafka 消息与保留上限、BigQuery/Snowflake 的提交与清理机制、各云出口费、现代数据栈与实时数据栈的判断,作者也明确说“实际细节”的保质期较短、第 11 章部分是猜测。整体定为工程实践。

类别:数据工程与数据架构方法类

版本说明:书中多处示意图和表格以图片给出(如表 6-1 缓存层次的价格与性能、表 8-1 至 8-8 范式化示例、Data Vault 示例表),笔记只采用正文有文字说明的内容;第 7 章银行账户批量 CDC 例子属于“变更捕获粒度不足导致丢失中间余额变化”,不是并发、隔离或幂等缺陷,按资金安全规则判定后不列入资金安全案例表,作为普通卡记录。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00-译者序 译者序 done 0
00-前言 前言 done 1
P1 第一部分 基础和构建块 done 0
01 第1章 数据工程概述 done 6
02 第2章 数据工程生命周期 done 10
03 第3章 设计好的数据架构 done 13
04 第4章 根据数据生命周期选择技术 done 11
P2 第二部分 深入数据工程生命周期 done 0
05 第5章 源系统中的数据生成 done 15
06 第6章 存储 done 16
07 第7章 获取 done 17
08 第8章 查询、建模和转换 done 25
09 第9章 为分析、机器学习和反向ETL提供数据服务 done 14
P3 第三部分 安全、隐私和数据工程的未来 done 0
10 第10章 安全和隐私 done 6
11 第11章 数据工程的未来 done 5
A 附录A 序列化和压缩技术的细节 done 4
B 附录B 云网络 done 2

非正文排除

spine项 类型 排除理由
0 / EPUB/xhtml/cover.xhtml 封面 仅封面图片
1 / EPUB/xhtml/Copyright.xhtml 版权页 作者、译者、出版社、出版时间与 ISBN,元数据已提取
2 / EPUB/xhtml/Section0001.xhtml 出版社介绍 O’Reilly Media 公司介绍,无本书知识正文
3 / EPUB/xhtml/Section0002.xhtml 本书赞誉 推荐语汇编,无知识正文
22 / EPUB/xhtml/Section0021.xhtml 关于作者 作者履历
23 / EPUB/xhtml/Section0022.xhtml 关于封面 封面动物(白耳蓬头鴷)介绍,与主题无关

待关联术语

术语名 出现章节 一句话语境
二将军问题 05 脚注用它说明技术上无法保证恰好一次交付,未展开
哈佛体系结构 06 与冯·诺依曼体系结构对照,说明禁止在内存页执行代码的安全设计,一笔带过
Debezium 07 基于日志的 CDC 工具示例,只提名
数据级联 09 列为数据工程师应了解的 ML 知识,附链接未解释
无头BI 09 作为与度量层、语义层密切相关的术语提及
Meltdown漏洞 10 说明敏感数据在内存或 CPU 缓存中也可能被攻击,仅给链接

引用文献

标题 类型 出现章节 一句话语境
Data Pipelines Pocket Reference(James Denmore) 书 05 数据契约定义的出处,推荐用于学习如何编写数据契约
Designing Data-Intensive Applications(Martin Kleppmann) 书 05、06 宽列数据库说明的引用来源及存储章补充资料
The Log(Jay Kreps) 论文 05 关于日志作为实时数据统一抽象的补充资料
The Dataflow Model(Tyler Akidau 等) 论文 07 无界乱序数据处理中权衡正确性、延迟与成本的补充资料
The Pragmatic Programmer 书 08 “不要重复自己”原则的出处,用于解释范式化
Building the Data Warehouse(Bill Inmon) 书 08 Inmon 数据仓库定义与“集成最重要”论述的出处
The Data Warehouse Toolkit(Kimball、Ross) 书 08 Kimball 维度建模的必读参考
The Missing Piece of the Modern Data Stack(Benn Stancil) 论文 08、09 度量层思路的出处
Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow(Aurélien Géron) 书 09 推荐给想了解机器学习的数据工程师
Data Mesh(Zhamak Dehghani) 书 09 数据网格的补充资料

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 在批次源头加章节映射校验 真实任务 done 第7章 ideas/idea-001-在批次源头加章节映射校验.md(以本批第 56 本 meta 章节映射错位为实例;校验脚本草案与回测待执行,不改现有工具)
002 为本地中间产物定保留策略 决策实践 done 第6章 ideas/idea-002-为本地中间产物定保留策略.md(已只读统计 .local 各目录大小;保留建议表待整理,不移动、不删除文件)

实践候选筛选:done

未采用候选:为 cardbox 导入写数据契约(导入格式由同一工作台工具产出与校验,上下游是同一维护者,契约收益小);把批次脚本改为流式管道(单人批量处理、无实时需求,复杂度远超收益);为数据库建 SCD 第二类历史表(cardbox 已有导入对账与备份,暂无追溯维度变化的查询需求)。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

微服务拆分与演进

比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。

444 张卡片 · 71 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

测试有效性与验证手段

比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。

366 张卡片 · 63 本书

主题索引

架构方案设计与评估

比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。

352 张卡片 · 40 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

组织与架构协同演进

比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。

255 张卡片 · 57 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

架构设计原则与复杂度来源

比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。

228 张卡片 · 40 本书

主题索引

无服务器平台

无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。

211 张卡片 · 27 本书

主题索引

模块化与信息隐藏

比较以函数、闭包、包或服务划定模块边界并隐藏实现细节的方法。

209 张卡片 · 51 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

架构风格与模式

比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。

182 张卡片 · 22 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

架构决策方法

比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。

168 张卡片 · 45 本书

主题索引

DevOps落地与组织协作

DevOps 在组织中的适用边界与推进顺序:稳态与敏态系统的区分、工具与流程文化的关系、责任共担取代交接审批、分支模型与团队能力的匹配。

148 张卡片 · 32 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

架构重构

比较识别重构目标、沟通推动与分段实施等架构重构方法。

138 张卡片 · 29 本书

主题索引

数据仓库建模与ETL

串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。

120 张卡片 · 20 本书

主题索引

Broker 存储与读写路径

比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。

118 张卡片 · 24 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

云基础设施控制面

IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。

100 张卡片 · 23 本书

主题索引

查询优化与表达式变换

比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。

99 张卡片 · 21 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

务实编程实践

比较务实程序员在责任与质量、DRY 与正交、曳光弹与原型、工具习惯、偏执编程、解耦、需求澄清与团队协作上的做法与判断。

79 张卡片 · 8 本书

主题索引

开源项目选型与使用

比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。

75 张卡片 · 34 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

混合云与多云管理

比较混合云与多云的组合形态、异构云资源的统一适配、按敏感度与弹性需求放置负载,以及可移植性与供应商锁定的取舍。

71 张卡片 · 11 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

数据可视化与交互

比较数据图形的视觉编码、用户解读、交互探索与叙事表达,关注图表如何服务具体问题及其误读边界。

67 张卡片 · 6 本书

主题索引

企业数据战略、组织与价值评估

比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。

65 张卡片 · 8 本书

主题索引

交互式查询与 MPP:把计算压到数据附近

面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。

61 张卡片 · 8 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

湖仓平台与开放表格式

比较湖仓单存储层、开放文件与表格式、快照事务与数据布局、多引擎兼容以及跨格式互操作的机制和取舍。

53 张卡片 · 3 本书

主题索引

顺序保证与延时消息

比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。

49 张卡片 · 18 本书

主题索引

内存分配器设计

比较分级分配、页/块管理与多级缓存降锁等分配器设计。

47 张卡片 · 13 本书

主题索引

密钥与凭证管理

比较密钥轮换、根密钥分发、紧急凭证与凭证泄露风险的管理方法。

42 张卡片 · 18 本书

主题索引

流式窗口与事件时间

比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。

39 张卡片 · 12 本书

主题索引

文本压缩与熵编码

比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。

37 张卡片 · 7 本书

主题索引

学习范式与泛化边界

监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。

31 张卡片 · 12 本书

主题索引

物联网与边缘平台

移动与电池供电系统承担哪些物理约束,边缘节点与网关在采集、过滤、协议转换和本地决策上承担什么,设备侧算力与云端算力如何划分。

23 张卡片 · 8 本书

主题索引

规范化与函数依赖

比较数据冗余引发的异常、函数依赖与多值依赖、范式递进标准、公理与闭包推理、模式分解质量以及反规范化的取舍。

17 张卡片 · 6 本书