此笔记位置已失效,请从目录继续阅读。
全书导读
这本书的两位作者乔·里斯(Joe Reis)和马特·豪斯利(Matt Housley)都是从数据科学转到数据工程的从业者,长期做数据工程咨询。书的英文原名是 *Fundamentals of Data Engineering*,中文版由机械工业出版社 2024 年出版。它不教某个具体工具怎么用,而是给出一套不随工具更替而过时的框架:数据工程生命周期(生成、存储、获取、转换、服务)加上贯穿各阶段的六个底层设计(安全、数据管理、DataOps、数据架构、编排、软件工程)。
全书 11 章加两个附录,分三部分:第 1–4 章讲数据工程是什么、生命周期、好的数据架构和技术选型;第 5–9 章逐一深入生命周期的五个阶段,每章都以“你和谁一起工作”和“底层设计”收尾;第 10–11 章讲安全与隐私和数据工程的未来;附录补充序列化压缩和云网络。
阅读时注意两点。第一,书写于 2022 年前后,书中的产品名、价格和配额(如 S3 存储层价格、Kinesis 消息上限、各云的保留期)会变,作者自己也提醒“实际细节”的保质期比原则短,具体数字要按现行文档核对。第二,作者有明确立场:偏向云托管服务、托管连接器、存算分离和流式架构,对自建、逆云而回和“简历驱动开发”持怀疑态度,第 11 章的实时数据栈也自称部分是猜测,读者应结合自己的规模和团队判断。
全书主线
全书的主线是“从生命周期和业务价值出发,而不是从工具出发”。作者反复强调三件事:
- 生命周期是常青的框架:工具每年都在变,但数据从源系统生成、被存储、被获取、被转换、被服务的阶段多年不变;每个阶段都要用同一组底层设计去审视;
- 做可逆决策、追求“最不差”:架构是持续演进的,优先松耦合、托管服务和通用组件,避免为想象中的规模过早优化,用 FinOps 管住云成本;
- 数据只有被使用才有价值:与上游源系统团队签数据契约、与下游用户建立信任和 SLA,监控和数据质量从一开始就纳入管道,因为“数据是无声的杀手”。
贯穿全书的具体原则包括:所有数据在有边界之前都是无边界的,批处理是流处理的一个特例;只收集下游需要的敏感数据,不收集就不会泄露;尽量建模在最低粒度;不要把源系统当作“别人的问题”;工具越简单,数据工程师越应向价值链上游移动。
译者序
译者序介绍翻译体会,指出数据工程近年因远程需求和 AI 带来的数据增长而快速发展,推荐本书帮助工程师在纷繁的技术中抓住生命周期这条主线,没有独立的方法论述。
前言
前言说明写作初衷:领域变化太快,作者选择只写不随工具过时的准则,聚焦生命周期、底层设计和原则,而不是具体工具的操作。
原书依据 · 1 处
第一部分 基础和构建块
第一部分建立全书框架:什么是数据工程、生命周期和底层设计是什么、好的数据架构有哪些原则,以及如何为生命周期选择技术。
第1章 数据工程概述
第 1 章先给出数据工程的定义:开发和维护把原始数据变成高质量、一致信息的系统和流程,并管理从源系统到分析/ML 的生命周期。从大数据工程师到生命周期工程师回顾了从大数据工程师到“生命周期工程师”的演变,数据工程在数据科学上游说明数据工程位于数据科学需求层次的上游。
在技能与组织方面,数据成熟度的三个阶段按“开始使用、扩展、引领”划分数据成熟度并说明各阶段的重点与陷阱;A型与B型数据工程师区分偏抽象(A 型)与偏构建(B 型)的数据工程师;数据工程师的上下游与方向梳理数据工程师在组织中的上下游利益相关者与汇报方向。
第2章 数据工程生命周期
第 2 章逐一介绍五个阶段。生成阶段给出评估源系统的问题清单;存储阶段讲存储选型与数据温度;获取阶段提醒批量获取是一扇单向门,并区分推送、拉取与CDC的三种做法;转换和服务阶段的核心是数据只有被使用才有价值,包括分析、ML 和反向 ETL。
后半章介绍六个底层设计:安全底层设计:最小特权;数据管理中的数据治理的三个核心类别(可发现性与问责、数据质量、主数据管理)以及建模血缘与数据销毁;DataOps的三大支柱(自动化、可观测性与监控、事故响应);最后说明数据架构、软件工程与编排不只是调度——编排管理任务依赖,而不只是 cron 定时。
第3章 设计好的数据架构
第 3 章先定义架构:数据架构靠可逆决策,区分单向门与双向门决策;好架构追求最不差,架构要灵活、可演进。作者给出九条数据架构原则,并详细阐述其中几条:松耦合源自贝索斯API指令,每个数据工程师都是安全工程师,FinOps与成本攻击(云上成本失控本身也是一种攻击面)。
接着讨论主要架构概念:单体可以作为起点,之后再按需拆分;棕地用绞杀者,绿地防简历驱动。然后回顾数据架构的演进:从数据仓库到云数据仓库,数据湖1.0为何沦为沼泽及其后的湖仓融合与现代数据栈,从Lambda到批是流的特例,物联网数据链路,以及数据网格的四个组成(领域所有权、数据即产品、自助平台、联邦治理)。
第4章 根据数据生命周期选择技术
第 4 章的核心立场是架构第一,技术第二:先想清楚架构和商业价值,再选工具,并考虑团队能力、交付速度和互操作性。成本方面引入总拥有机会成本与 FinOps;判断技术寿命时以林迪效应识别不变技术。
部署位置方面,作者强调云不等于本地,云的经济学和数据引力不同于本地机房;建议没有理由就选单云;对“逆云而回”的争论回应说你不是Dropbox。构建还是购买时,买轮胎不必自己造;架构形态上警惕分布式单体的依赖冲突;采用无服务器时无服务器先建成本模型;面对供应商宣传要识破基准测试的三种花招。最后用底层设计审视选型,并总结技术选择是以可逆决策为目标的多因素平衡。
第二部分 深入数据工程生命周期
第二部分按生命周期顺序展开五章:源系统、存储、获取、查询建模与转换、数据服务。每章都以“你和谁一起工作”和“底层设计”收尾,把第 2 章的框架落到具体阶段。
第5章 源系统中的数据生成
第 5 章强调先懂源系统再取数。主要观点部分讲OLTP与OLAP的分工、日志三要素与编码、仅插入模式的利弊、消息与流的区别和四种时间要分开记。
实际细节部分先给出评估源数据库的七问,再说明文档库的取数陷阱以及宽列、图、搜索与时序的数据工程要点;接着介绍四类API取数方式、数据共享与第三方数据,消息队列方面提醒别假设消息有序、要求幂等,事件流平台方面讲流分区键防热点。最后建议与源系统签数据契约,并按源系统底层设计清单逐项检查,结论是不要把源系统当作“别人的问题”。
原书依据 · 15 处
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
- 第5章 源系统中的数据生成 · 查看原书依据
第6章 存储
第 6 章用存储的三层视角组织:原材料、存储系统、存储抽象。原材料部分讲磁盘的四个物理极限及并行如何成为对象存储的基础,内存快但易失,以及序列化、压缩与缓存层。
存储系统部分先说明一致性是技术也是组织问题,再依次介绍文件存储与块存储、EBS与实例存储选型、对象存储:不可变的键值、对象存储强一致与版本,以及缓存、HDFS与流存储;分析存储则经历了从索引到分区与聚类的演变。
存储抽象部分比较仓、湖、湖仓与平台。重要思想和趋势部分讲数据目录与写时模式与读时模式、存算分离为何仍要混合(含零拷贝克隆的风险),以及数据温度与保留策略。最后总结存储的底层设计要点:安全是促成因素、投资元数据、倾向全托管、把存储基础设施定义为代码。
第7章 获取
第 7 章先区分获取与数据管道定义,再给出设计获取前的八问(有边界与无边界、频率等)。设计维度上,作者用一个 24 小时同步管道的反面案例说明同步管道失败全量重跑,并讨论吞吐、可靠性与成本权衡与有效负载与模式变化。
批量获取部分总结批量获取的常见模式;流式获取部分讲流式获取的六个关注点和死信队列隔离坏事件。获取方式部分说明JDBC与ODBC直连局限、批量CDC丢失中间变化(24 小时内五次取款只得到最后余额)、CDC复制与读副本,主张优先托管连接器,提醒文件交换与CSV陷阱,并概览其他获取方式的取舍。
最后两节讲获取阶段的上下游协作,以及获取阶段的底层设计(模式变化、数据最小化、无接触生产)和获取监控与数据质量——获取阶段的监控最关键,一个故障曾六个月无人发现。
第8章 查询、建模和转换
第 8 章先讲查询。查询的生命周期说明 SQL 被编译、转字节码、优化和执行的过程;优化查询性能方面依次讨论预连接与行爆炸、解释计划与剪枝、三种提交模型对比和清理死记录与结果缓存。流数据查询方面讲快速追随者与Kappa、流窗口与水印和流与其他数据结合。
数据建模部分强调数据模型连接业务与建模保持最低粒度,用订单表演示三大范式拆订单表;批量分析建模比较Inmon与Kimball之别,介绍缓慢变化维度三类和Data Vault三类表,并讨论宽表与不建模的代价与流数据建模尚无共识。
转换部分先说明转换是持久化的查询,再讲广播连接与洗牌连接(以及 ETL/ELT 只宜在微观层面使用)、何时用Spark代替SQL、列式库的更新与合并、模式更新与JSON列、业务逻辑与度量层和MapReduce与内存处理;随后介绍视图、联邦与虚拟化,以及流转换中微批与真正流处理的取舍。最后总结转换阶段的协作与底层设计。
原书依据 · 25 处
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
- 第8章 查询、建模和转换 · 查看原书依据
第9章 为分析、机器学习和反向ETL提供数据服务
第 9 章先讲共同关注点:信任是数据服务之本;项目要从用例和用户倒推;自助服务为何难成在于没有找对受众;要显式声明定义与逻辑,数据网格则让领域团队承担数据服务。
分析部分区分业务分析:仪表板到专项、运营分析促成即时行动和嵌入式分析三大挑战,并用运动短裤次品案例串起来。机器学习部分说明数据工程师的ML素养。服务方法部分讲文件交换与数据库服务、联邦查询与数据共享、度量层回答数字对吗和notebook凭证与扩展。随后介绍反向ETL与失控反馈,最后总结服务阶段的职责与底层设计。
原书依据 · 14 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
第三部分 安全、隐私和数据工程的未来
第三部分回到两个横切主题:把安全落到人员、流程和技术三方面,并对数据工程的未来做出预测。
第11章 数据工程的未来
第 11 章预测:工具越简单工程师越上移;云数据操作系统将围绕互操作性标准、元数据和新一代编排发展,数据工程会变得“企业级”;数据角色边界的融合会催生新角色;数据栈将从现代数据栈到实时;最终走向应用、数据与ML融合,电子表格这类“暗物质”工具也值得关注。
附录A 序列化和压缩技术的细节
附录 A 比较行式序列化格式取舍和列式序列化与Parquet,介绍Arrow与混合序列化(Hudi、Iceberg)与存储引擎,并说明压缩算法的速度取向。
附录B 云网络
附录 B 说明可用区、区域与出口费的关系,以及为什么出口费是云的护城河:GCP 多区域、网络直连和 CDN 可以降低费用,Zoom 选择甲骨文的例子显示出口费对选型影响巨大。