主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
尚未完成类别清单核对。
Skill 版本:v23
_workflow.md。作者:乔·里斯(Joe Reis)、马特·豪斯利(Matt Housley)著;王梦蛟、阳沁珂、李佳宁、李卓恒译;机械工业出版社,2024 年 2 月(版权页),ISBN 9787111745273
执行模式:light
建档进度:done
整书笔记:_book_note.md(schema 1;SHA-256 9bac2c268406cace5414617a08e8d186d79d533826b5cd1e6bae403e48b423d8)
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
信息浓度高:全书用“生命周期五阶段 + 六个底层设计”一套框架组织全部内容,几乎每个主题都给出取舍和反例,例如批量 CDC 只能拿到变化行、拿不到中间变化,要改用仅插入或基于日志的 CDC;列式库逐行插入和近实时 merge 会拖垮系统,每小时合并更合理;对象存储没有真正的目录,前缀 ls 很贵;在对象存储上实现强一致要借助强一致数据库记录版本元数据;同步管道一步失败要全量重跑;零拷贝克隆后删除原文件可能抹掉克隆;反向 ETL 的出价反馈循环可能失控烧钱。
稳定性偏低:生命周期、可逆决策、范式化与 Kimball/Inmon/Data Vault、批是流的特例、数据契约、最小权限等原则可迁移性好,但全书大量篇幅依赖 2022 年前后的云产品与市场格局——S3 存储层级与价格、Kinesis/Kafka 消息与保留上限、BigQuery/Snowflake 的提交与清理机制、各云出口费、现代数据栈与实时数据栈的判断,作者也明确说“实际细节”的保质期较短、第 11 章部分是猜测。整体定为工程实践。
类别:数据工程与数据架构方法类
版本说明:书中多处示意图和表格以图片给出(如表 6-1 缓存层次的价格与性能、表 8-1 至 8-8 范式化示例、Data Vault 示例表),笔记只采用正文有文字说明的内容;第 7 章银行账户批量 CDC 例子属于“变更捕获粒度不足导致丢失中间余额变化”,不是并发、隔离或幂等缺陷,按资金安全规则判定后不列入资金安全案例表,作为普通卡记录。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00-译者序 | 译者序 | done | 0 |
| 00-前言 | 前言 | done | 1 |
| P1 | 第一部分 基础和构建块 | done | 0 |
| 01 | 第1章 数据工程概述 | done | 6 |
| 02 | 第2章 数据工程生命周期 | done | 10 |
| 03 | 第3章 设计好的数据架构 | done | 13 |
| 04 | 第4章 根据数据生命周期选择技术 | done | 11 |
| P2 | 第二部分 深入数据工程生命周期 | done | 0 |
| 05 | 第5章 源系统中的数据生成 | done | 15 |
| 06 | 第6章 存储 | done | 16 |
| 07 | 第7章 获取 | done | 17 |
| 08 | 第8章 查询、建模和转换 | done | 25 |
| 09 | 第9章 为分析、机器学习和反向ETL提供数据服务 | done | 14 |
| P3 | 第三部分 安全、隐私和数据工程的未来 | done | 0 |
| 10 | 第10章 安全和隐私 | done | 6 |
| 11 | 第11章 数据工程的未来 | done | 5 |
| A | 附录A 序列化和压缩技术的细节 | done | 4 |
| B | 附录B 云网络 | done | 2 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 / EPUB/xhtml/cover.xhtml | 封面 | 仅封面图片 |
| 1 / EPUB/xhtml/Copyright.xhtml | 版权页 | 作者、译者、出版社、出版时间与 ISBN,元数据已提取 |
| 2 / EPUB/xhtml/Section0001.xhtml | 出版社介绍 | O’Reilly Media 公司介绍,无本书知识正文 |
| 3 / EPUB/xhtml/Section0002.xhtml | 本书赞誉 | 推荐语汇编,无知识正文 |
| 22 / EPUB/xhtml/Section0021.xhtml | 关于作者 | 作者履历 |
| 23 / EPUB/xhtml/Section0022.xhtml | 关于封面 | 封面动物(白耳蓬头鴷)介绍,与主题无关 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 二将军问题 | 05 | 脚注用它说明技术上无法保证恰好一次交付,未展开 |
| 哈佛体系结构 | 06 | 与冯·诺依曼体系结构对照,说明禁止在内存页执行代码的安全设计,一笔带过 |
| Debezium | 07 | 基于日志的 CDC 工具示例,只提名 |
| 数据级联 | 09 | 列为数据工程师应了解的 ML 知识,附链接未解释 |
| 无头BI | 09 | 作为与度量层、语义层密切相关的术语提及 |
| Meltdown漏洞 | 10 | 说明敏感数据在内存或 CPU 缓存中也可能被攻击,仅给链接 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|---|---|---|
| Data Pipelines Pocket Reference(James Denmore) | 书 | 05 | 数据契约定义的出处,推荐用于学习如何编写数据契约 |
| Designing Data-Intensive Applications(Martin Kleppmann) | 书 | 05、06 | 宽列数据库说明的引用来源及存储章补充资料 |
| The Log(Jay Kreps) | 论文 | 05 | 关于日志作为实时数据统一抽象的补充资料 |
| The Dataflow Model(Tyler Akidau 等) | 论文 | 07 | 无界乱序数据处理中权衡正确性、延迟与成本的补充资料 |
| The Pragmatic Programmer | 书 | 08 | “不要重复自己”原则的出处,用于解释范式化 |
| Building the Data Warehouse(Bill Inmon) | 书 | 08 | Inmon 数据仓库定义与“集成最重要”论述的出处 |
| The Data Warehouse Toolkit(Kimball、Ross) | 书 | 08 | Kimball 维度建模的必读参考 |
| The Missing Piece of the Modern Data Stack(Benn Stancil) | 论文 | 08、09 | 度量层思路的出处 |
| Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow(Aurélien Géron) | 书 | 09 | 推荐给想了解机器学习的数据工程师 |
| Data Mesh(Zhamak Dehghani) | 书 | 09 | 数据网格的补充资料 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 在批次源头加章节映射校验 | 真实任务 | done | 第7章 | ideas/idea-001-在批次源头加章节映射校验.md(以本批第 56 本 meta 章节映射错位为实例;校验脚本草案与回测待执行,不改现有工具) |
| 002 | 为本地中间产物定保留策略 | 决策实践 | done | 第6章 | ideas/idea-002-为本地中间产物定保留策略.md(已只读统计 .local 各目录大小;保留建议表待整理,不移动、不删除文件) |
实践候选筛选:done
未采用候选:为 cardbox 导入写数据契约(导入格式由同一工作台工具产出与校验,上下游是同一维护者,契约收益小);把批次脚本改为流式管道(单人批量处理、无实时需求,复杂度远超收益);为数据库建 SCD 第二类历史表(cardbox 已有导入对账与备份,暂无追溯维度变化的查询需求)。
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较架构要解决的复杂度来源(性能、可用性、扩展、成本、安全、规模)以及合适、简单、演化等设计原则。
主题索引
无服务器平台在 Kubernetes 之上补齐的原语:构建、请求路由、事件交付与伸缩至零,以及事件格式标准化。
主题索引
比较以函数、闭包、包或服务划定模块边界并隐藏实现细节的方法。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较在不确定性下做架构决策的方法:以风险而非结果评价决策、期望值与决策树、认知偏差、根因追问与避免不必要的决策。
主题索引
DevOps 在组织中的适用边界与推进顺序:稳态与敏态系统的区分、工具与流程文化的关系、责任共担取代交接审批、分支模型与团队能力的匹配。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较识别重构目标、沟通推动与分段实施等架构重构方法。
主题索引
串联分析型数仓的主题与分层建模、ETL抽取转换、Hive与Sqoop、增量水位及BI消费路径;保留版本与场景限制。
主题索引
比较日志段与索引、页缓存与零拷贝、批次与压缩、保留清理与压实,以及副本放置对读写路径与堆积的影响。
主题索引
比较安全/可靠性团队的组织形态、激励机制与推动变革的方法。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
IaaS 云平台如何把异构资源封装成服务:API 与执行分离、调度与执行分离、数据库中介、驱动与插件适配后端、代理进入实例,以及以同样模式构建的数据、DNS、容器等上层服务。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
比较如何划定信任边界、缩小可信计算基础并隔离不可信输入。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
比较务实程序员在责任与质量、DRY 与正交、曳光弹与原型、工具习惯、偏执编程、解耦、需求澄清与团队协作上的做法与判断。
主题索引
比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
比较混合云与多云的组合形态、异构云资源的统一适配、按敏感度与弹性需求放置负载,以及可移植性与供应商锁定的取舍。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
比较数据图形的视觉编码、用户解读、交互探索与叙事表达,关注图表如何服务具体问题及其误读边界。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
主题索引
面向交互式分析的执行引擎:列存与分区裁剪、查询编译与向量化执行、重分布连接与并行度、MPP 与混合数仓、Presto 式连接器解耦,以及预计算能省下多少。
主题索引
同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。
主题索引
消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。
主题索引
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
主题索引
比较湖仓单存储层、开放文件与表格式、快照事务与数据布局、多引擎兼容以及跨格式互操作的机制和取舍。
主题索引
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
主题索引
比较分级分配、页/块管理与多级缓存降锁等分配器设计。
主题索引
比较密钥轮换、根密钥分发、紧急凭证与凭证泄露风险的管理方法。
主题索引
比较固定与滑动统计窗口、事件时间和水位线,以及晚到数据的归属与修正策略。
主题索引
比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。
主题索引
监督、无监督、强化、在线四类学习方式各自依赖什么假设;把学习写成「假设—损失—优化」之后,泛化、过拟合、维数灾难与评估口径怎么定义,以及一个业务问题该先定分类目标还是先选算法。
主题索引
移动与电池供电系统承担哪些物理约束,边缘节点与网关在采集、过滤、协议转换和本地决策上承担什么,设备侧算力与云端算力如何划分。
主题索引
比较数据冗余引发的异常、函数依赖与多值依赖、范式递进标准、公理与闭包推理、模式分解质量以及反规范化的取舍。