来源书籍

Practical Lakehouse Architecture

Skill 版本:v11 企业大数据建设类 工程实践(高信息浓度 + 低稳定性)。 143 张卡片

尚未生成整书笔记。

类别清单覆盖

6/7

已覆盖 6 补充生成 0 未覆盖 1

全书大纲

图式:层级结构图 选择理由:阅读计划初选层级结构图;全书先解释数据平台和湖仓的概念,再逐层讨论存储、目录、计算与治理,继而给出平台设计、项目交付和未来演进,前后存在清晰的架构依赖。全文复核后确认,该图式比并列主题图更能表达从原理到平台落地的论述顺序。 核心主旨:如何把开放对象存储、事务表格式、弹性计算、统一元数据及治理能力组合成可扩展、可运营的湖仓平台。 论述主线:先建立数据架构和湖仓的定位,比较数据湖、数仓与现代平台;再依次展开存储格式、元数据目录、计算引擎和治理安全等核心平台能力;随后把这些组件汇总成架构蓝图和实施步骤;最后通过现实项目生命周期说明迁移和运维方式,并以数据网格、HTAP、零 ETL、格式互操作和 AI 展望后续方向。产品与路线图细节按原书 2024 年版本理解,不直接视为当前部署状态。

flowchart TD
  A[数据架构与湖仓定位] --> B[现代平台比较]
  B --> C[对象存储与表格式]
  C --> D[元数据目录]
  D --> E[计算引擎]
  E --> F[治理与安全]
  F --> G[平台蓝图与设计方法]
  G --> H[项目估算、迁移和运维]
  H --> I[未来架构方向与互操作]

章节与卡片

00 Preface

0 张卡片

章节作用:说明本书的读者、写作动机与阅读路线,为后续架构论证设定范围。

内容脉络:目标读者和问题范围 → 写作动机 → 章节路线与术语约定。

flowchart TD
  A[目标读者和问题范围]
  A --> B[写作动机]
  B --> C[章节路线与术语约定]

相关卡片:无(本章无合格知识卡)

01 Chapter 1. Introduction to Lakehouse Architecture

30 张卡片
  1. 数据平台承载数据价值 理解等级:初级 普通读书笔记卡
  2. 数据架构先定组件关系 理解等级:中级 普通读书笔记卡
  3. 数据治理贯穿数据流程 理解等级:中级 普通读书笔记卡
  4. 源系统决定摄取模式 理解等级:中级 普通读书笔记卡
  5. 存储按访问用途分层 理解等级:中级 普通读书笔记卡
  6. 数据契约约定生产消费 理解等级:中级 普通读书笔记卡
  7. 数据验证兼顾技术与业务 理解等级:中级 普通读书笔记卡
  8. ETL与ELT改变转换位置 理解等级:中级 普通读书笔记卡
  9. 数据产品面向消费 理解等级:初级 普通读书笔记卡
  10. 数据可观测性检查健康 理解等级:中级 普通读书笔记卡
  11. 湖仓在数据湖上加事务层 理解等级:中级 结构图卡
  12. 数据转换把原料变成果 理解等级:中级 普通读书笔记卡
  13. 数据消费需要不同接口 理解等级:中级 普通读书笔记卡
  14. 数据目录帮助发现数据 理解等级:初级 普通读书笔记卡
  15. 数据运维管理全生命周期 理解等级:中级 普通读书笔记卡
  16. 文件格式与表格式分工 理解等级:中级 普通读书笔记卡
  17. 存算分离可独立扩缩 理解等级:中级 普通读书笔记卡
  18. 开放格式仍要核对兼容 理解等级:高级 普通读书笔记卡
  19. 单存储层减少双份同步 理解等级:高级 普通读书笔记卡
  20. 数据沼泽源于治理缺位 理解等级:中级 普通读书笔记卡
  21. 模式强制与演进互补 理解等级:高级 普通读书笔记卡
  22. 时间旅行读取旧版本 理解等级:中级 普通读书笔记卡
  23. 开放共享解耦消费方 理解等级:中级 普通读书笔记卡
  24. Iceberg开放表格式 理解等级:中级 延伸参考卡
  25. Hudi支持增量处理 理解等级:中级 延伸参考卡
  26. Delta Lake提供事务层 理解等级:中级 延伸参考卡
  27. 计算引擎可按负载选择 理解等级:中级 普通读书笔记卡
  28. 湖仓BI性能靠两侧优化 理解等级:高级 普通读书笔记卡
  29. Lambda双路径增加维护 理解等级:中级 普通读书笔记卡
  30. 单存储层容纳多形态 理解等级:中级 普通读书笔记卡

02 Chapter 2. Traditional Architectures and Modern Data Platforms

11 张卡片

章节作用:对照数据仓库、数据湖与云端现代平台,沿部署、管理能力和业务结果说明架构选择。

内容脉络:数据仓库与 ACID 基础 → 数据湖能力及限制 → 云端独立或组合平台 → 能力、运营与业务结果比较。

flowchart TD
  A[数据仓库与 ACID 基础]
  A --> B[数据湖能力及限制]
  B --> C[云端独立或组合平台]
  C --> D[能力、运营与业务结果比较]

相关卡片:数仓整合历史数据、事务保证数仓一致性、数仓建模围绕查询、数据湖读取时解释模式、按负载伸缩云计算资源、抢占实例只承载可中断任务、双层架构依赖数据往返、双层权限难保持一致、按场景比较数据架构、数据质量随层级提升、算总成本再选存储架构

  1. 数仓整合历史数据 理解等级:初级 普通读书笔记卡
  2. 事务保证数仓一致性 理解等级:中级 普通读书笔记卡
  3. 数仓建模围绕查询 理解等级:中级 普通读书笔记卡
  4. 数据湖读取时解释模式 理解等级:中级 普通读书笔记卡
  5. 按负载伸缩云计算资源 理解等级:中级 普通读书笔记卡
  6. 抢占实例只承载可中断任务 理解等级:中级 普通读书笔记卡
  7. 双层架构依赖数据往返 理解等级:高级 普通读书笔记卡
  8. 双层权限难保持一致 理解等级:高级 普通读书笔记卡
  9. 按场景比较数据架构 理解等级:高级 普通读书笔记卡
  10. 数据质量随层级提升 理解等级:中级 普通读书笔记卡
  11. 算总成本再选存储架构 理解等级:高级 普通读书笔记卡

03 Chapter 3. Storage: The Heart of the Lakehouse

18 张卡片

章节作用:从文件和对象存储推进到表格式,比较列式设计、性能优化、生态支持和基准证据。

内容脉络:行式/列式与文件布局 → 对象存储和可切分格式 → Iceberg、Delta、Hudi 等表格式 → 功能、生态和性能取舍。

flowchart TD
  A[行式/列式与文件布局]
  A --> B[对象存储和可切分格式]
  B --> C[Iceberg、Delta、Hudi 等表格式]
  C --> D[功能、生态和性能取舍]

相关卡片:列存减少分析扫描、数据跳过先于扩算力、对象存储核对五项约束、压缩文件需支持切分、Parquet按行组组织列页、ORC条带支持谓词裁剪、Avro容器带模式与同步标记、文件格式按负载组合、Hive元数据与数据分置、Iceberg快照指向清单、隐藏分区隔离查询和布局、Hudi两种更新布局取舍、提交时间线支持增量读取、Delta日志定义表状态、清理旧文件会缩短回溯、表格式选型验证兼容链、基准测试不能单独定选型、Hive事务依赖表层机制

  1. 列存减少分析扫描 理解等级:中级 普通读书笔记卡
  2. 数据跳过先于扩算力 理解等级:中级 普通读书笔记卡
  3. 对象存储核对五项约束 理解等级:中级 普通读书笔记卡
  4. 压缩文件需支持切分 理解等级:中级 普通读书笔记卡
  5. Parquet按行组组织列页 理解等级:中级 普通读书笔记卡
  6. ORC条带支持谓词裁剪 理解等级:中级 普通读书笔记卡
  7. Avro容器带模式与同步标记 理解等级:中级 普通读书笔记卡
  8. 文件格式按负载组合 理解等级:高级 普通读书笔记卡
  9. Hive元数据与数据分置 理解等级:中级 普通读书笔记卡
  10. Iceberg快照指向清单 理解等级:中级 结构图卡
  11. 隐藏分区隔离查询和布局 理解等级:中级 普通读书笔记卡
  12. Hudi两种更新布局取舍 理解等级:高级 普通读书笔记卡
  13. 提交时间线支持增量读取 理解等级:中级 普通读书笔记卡
  14. Delta日志定义表状态 理解等级:中级 普通读书笔记卡
  15. 清理旧文件会缩短回溯 理解等级:高级 普通读书笔记卡
  16. 表格式选型验证兼容链 理解等级:高级 普通读书笔记卡
  17. 基准测试不能单独定选型 理解等级:高级 普通读书笔记卡
  18. Hive事务依赖表层机制 理解等级:中级 普通读书笔记卡

04 Chapter 4. Data Catalogs

10 张卡片

章节作用:先解释技术与业务元数据,再从发现、治理和血缘需要导出统一目录设计及云平台选项。

内容脉络:元数据类型与管理 → 检索、分类、治理和血缘 → 孤岛问题与统一目录收益 → 目录实现选项与目录之目录。

flowchart TD
  A[元数据类型与管理]
  A --> B[检索、分类、治理和血缘]
  B --> C[孤岛问题与统一目录收益]
  C --> D[目录实现选项与目录之目录]

相关卡片:技术元数据描述结构、业务元数据解释含义、元数据管理覆盖全周期、元数据仓与目录分工、分类标签驱动敏感治理、血缘用于变更影响分析、统一目录覆盖数据与模型、跨引擎授权需验证一致性、元数据仓自管增加负担、跨云目录汇聚多源元数据

  1. 技术元数据描述结构 理解等级:初级 普通读书笔记卡
  2. 业务元数据解释含义 理解等级:中级 普通读书笔记卡
  3. 元数据管理覆盖全周期 理解等级:中级 普通读书笔记卡
  4. 元数据仓与目录分工 理解等级:中级 结构图卡
  5. 分类标签驱动敏感治理 理解等级:中级 普通读书笔记卡
  6. 血缘用于变更影响分析 理解等级:中级 普通读书笔记卡
  7. 统一目录覆盖数据与模型 理解等级:中级 普通读书笔记卡
  8. 跨引擎授权需验证一致性 理解等级:高级 普通读书笔记卡
  9. 元数据仓自管增加负担 理解等级:高级 普通读书笔记卡
  10. 跨云目录汇聚多源元数据 理解等级:高级 普通读书笔记卡

05 Chapter 5. Compute Engines for Lakehouse Architectures

13 张卡片

章节作用:说明存算分离如何支持多引擎工作负载,再以格式支持、生态和消费场景评估引擎选择。

内容脉络:湖仓计算收益与跨域访问 → 批处理、实时和 BI 工作负载 → 开源、云服务与第三方引擎 → 格式兼容、用户画像与选型约束。

flowchart TD
  A[湖仓计算收益与跨域访问]
  A --> B[批处理、实时和 BI 工作负载]
  B --> C[开源、云服务与第三方引擎]
  C --> D[格式兼容、用户画像与选型约束]

相关卡片:批流统一仍需核算时效、表元数据可提前裁剪文件、小文件合并降低调度开销、三区按可信程度组织数据、Spark承担批量转换、Flink面向持续流计算、Trino跨源查询依赖连接器、多引擎共享表需共享规则、表协议升级先核读写端、托管与原生引擎权衡、BI连接器须验证能力、机器学习也需表兼容验证、单存储层便于跨区联查

  1. 批流统一仍需核算时效 理解等级:高级 普通读书笔记卡
  2. 表元数据可提前裁剪文件 理解等级:中级 普通读书笔记卡
  3. 小文件合并降低调度开销 理解等级:中级 普通读书笔记卡
  4. 三区按可信程度组织数据 理解等级:中级 普通读书笔记卡
  5. Spark承担批量转换 理解等级:中级 普通读书笔记卡
  6. Flink面向持续流计算 理解等级:中级 普通读书笔记卡
  7. Trino跨源查询依赖连接器 理解等级:中级 普通读书笔记卡
  8. 多引擎共享表需共享规则 理解等级:高级 普通读书笔记卡
  9. 表协议升级先核读写端 理解等级:高级 普通读书笔记卡
  10. 托管与原生引擎权衡 理解等级:高级 普通读书笔记卡
  11. BI连接器须验证能力 理解等级:中级 普通读书笔记卡
  12. 机器学习也需表兼容验证 理解等级:中级 普通读书笔记卡
  13. 单存储层便于跨区联查 理解等级:中级 普通读书笔记卡

06 Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture

17 张卡片

章节作用:把数据治理、安全和 AI 资产治理纳入统一平台过程,覆盖质量、合规、所有权、审计、访问和保护。

内容脉络:治理与安全目标 → 元数据、合规和资产质量 → 血缘、共享与数据所有权 → 审计、访问管理和敏感数据保护。

flowchart TD
  A[治理与安全目标]
  A --> B[元数据、合规和资产质量]
  B --> C[血缘、共享与数据所有权]
  C --> D[审计、访问管理和敏感数据保护]

相关卡片:治理规则与安全控制分工、质量指标要落到校验、模型质量需持续监测、血缘追踪敏感字段流向、共享资产遵循最小范围、数据负责人和管家分责、审计日志回答谁访问了什么、权限治理循环限制复查撤销、静态与传输加密分开验收、密钥方式决定操作责任、敏感识别要覆盖入口、掩码令牌化不等于匿名化、删除请求需核全生命周期、治理从平台设计初期开始、分析工程师连接数据生产与消费、表级与字段级血缘分工、数据洁净室约束协作分析

  1. 治理规则与安全控制分工 理解等级:中级 普通读书笔记卡
  2. 质量指标要落到校验 理解等级:中级 普通读书笔记卡
  3. 模型质量需持续监测 理解等级:中级 普通读书笔记卡
  4. 血缘追踪敏感字段流向 理解等级:中级 普通读书笔记卡
  5. 共享资产遵循最小范围 理解等级:高级 普通读书笔记卡
  6. 数据负责人和管家分责 理解等级:中级 普通读书笔记卡
  7. 审计日志回答谁访问了什么 理解等级:中级 普通读书笔记卡
  8. 权限治理循环限制复查撤销 理解等级:中级 结构图卡
  9. 静态与传输加密分开验收 理解等级:中级 普通读书笔记卡
  10. 密钥方式决定操作责任 理解等级:高级 普通读书笔记卡
  11. 敏感识别要覆盖入口 理解等级:中级 普通读书笔记卡
  12. 掩码令牌化不等于匿名化 理解等级:高级 普通读书笔记卡
  13. 删除请求需核全生命周期 理解等级:高级 普通读书笔记卡
  14. 治理从平台设计初期开始 理解等级:中级 普通读书笔记卡
  15. 分析工程师连接数据生产与消费 理解等级:中级 普通读书笔记卡
  16. 表级与字段级血缘分工 理解等级:中级 普通读书笔记卡
  17. 数据洁净室约束协作分析 理解等级:中级 普通读书笔记卡

07 Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform

19 张卡片

章节作用:由组织目标和现状评估确定架构原则,再把平台拆为数据接入、存储、处理、交付与公共服务组件。

内容脉络:需求、现状与组织战略 → 架构原则和平台运行约束 → 数据生态与治理/安全 → 平台蓝图与分层设计步骤。

flowchart TD
  A[需求、现状与组织战略]
  A --> B[架构原则和平台运行约束]
  B --> C[数据生态与治理/安全]
  C --> D[平台蓝图与分层设计步骤]

相关卡片:设计前核对三类输入、访谈覆盖不同数据角色、数据网格由领域负责数据产品、数据编织统一跨系统访问、HTAP合并事务与分析负载、CDC只提取新增与变更、摄取工具按连接与控制选、延迟预算决定微批或常驻、原始区保留重处理依据、落地区解耦摄取与处理、语义区面向业务自助查询、DataVault三元模型、MDM选出跨源黄金记录、代理键隔离来源业务键、编排统一调度依赖与告警、MLOps管理模型全生命周期、数据异常监测使用历史基线、平台设计从需求走到验证、访谈量化容量与质量约束

  1. 设计前核对三类输入 理解等级:中级 普通读书笔记卡
  2. 访谈覆盖不同数据角色 理解等级:中级 普通读书笔记卡
  3. 数据网格由领域负责数据产品 理解等级:中级 普通读书笔记卡
  4. 数据编织统一跨系统访问 理解等级:中级 普通读书笔记卡
  5. HTAP合并事务与分析负载 理解等级:中级 普通读书笔记卡
  6. CDC只提取新增与变更 理解等级:中级 普通读书笔记卡
  7. 摄取工具按连接与控制选 理解等级:高级 普通读书笔记卡
  8. 延迟预算决定微批或常驻 理解等级:高级 普通读书笔记卡
  9. 原始区保留重处理依据 理解等级:中级 普通读书笔记卡
  10. 落地区解耦摄取与处理 理解等级:中级 普通读书笔记卡
  11. 语义区面向业务自助查询 理解等级:中级 普通读书笔记卡
  12. DataVault三元模型 理解等级:中级 普通读书笔记卡
  13. MDM选出跨源黄金记录 理解等级:中级 普通读书笔记卡
  14. 代理键隔离来源业务键 理解等级:中级 普通读书笔记卡
  15. 编排统一调度依赖与告警 理解等级:中级 普通读书笔记卡
  16. MLOps管理模型全生命周期 理解等级:中级 普通读书笔记卡
  17. 数据异常监测使用历史基线 理解等级:中级 普通读书笔记卡
  18. 平台设计从需求走到验证 理解等级:中级 普通读书笔记卡
  19. 访谈量化容量与质量约束 理解等级:中级 普通读书笔记卡

08 Chapter 8. Lakehouse in the Real World

15 张卡片

章节作用:按交付生命周期说明估算规划、分析设计、实施测试和运维支持,并处理迁移、对账、质量与退役。

内容脉络:估算与计划 → 现状分析、建模与技术栈 → 迁移、对账、测试和数据质量 → 审计、灾备、维护与旧系统退役。

flowchart TD
  A[估算与计划]
  A --> B[现状分析、建模与技术栈]
  B --> C[迁移、对账、测试和数据质量]
  C --> D[审计、灾备、维护与旧系统退役]

相关卡片:棕地与绿地建设区别、估算纳入建模部署与治理、迁移期并行运行新旧平台、数据建模需要领域专家、云平台选择受组织约束、历史迁移按周期对账重跑、跨模型对账分层验证、逆向旧代码还原业务规则、质量规则需要业务共建、审计字段定位错误批次、RTO与RPO分别约束恢复、双活与主备权衡恢复成本、退役旧平台看迁移验收、第三方平台仍依赖云底座、迁移路径按来源和形态选

  1. 棕地与绿地建设区别 理解等级:初级 普通读书笔记卡
  2. 估算纳入建模部署与治理 理解等级:中级 普通读书笔记卡
  3. 迁移期并行运行新旧平台 理解等级:中级 普通读书笔记卡
  4. 数据建模需要领域专家 理解等级:中级 普通读书笔记卡
  5. 云平台选择受组织约束 理解等级:高级 普通读书笔记卡
  6. 历史迁移按周期对账重跑 理解等级:中级 普通读书笔记卡
  7. 跨模型对账分层验证 理解等级:高级 普通读书笔记卡
  8. 逆向旧代码还原业务规则 理解等级:中级 普通读书笔记卡
  9. 质量规则需要业务共建 理解等级:中级 普通读书笔记卡
  10. 审计字段定位错误批次 理解等级:中级 普通读书笔记卡
  11. RTO与RPO分别约束恢复 理解等级:初级 普通读书笔记卡
  12. 双活与主备权衡恢复成本 理解等级:高级 普通读书笔记卡
  13. 退役旧平台看迁移验收 理解等级:中级 普通读书笔记卡
  14. 第三方平台仍依赖云底座 理解等级:高级 普通读书笔记卡
  15. 迁移路径按来源和形态选 理解等级:高级 普通读书笔记卡

09 Chapter 9. Lakehouse of the Future

10 张卡片

章节作用:讨论湖仓演进方向,包括数据网格、HTAP、零 ETL、格式互操作、托管平台及 AI 场景;区分趋势和已验证能力。

内容脉络:数仓向湖仓的演进 → Data Mesh、HTAP 与 Zero ETL → UniForm、XTable 和新格式互操作 → 公有/私有云托管平台与 AI 展望。

flowchart TD
  A[数仓向湖仓的演进]
  A --> B[Data Mesh、HTAP 与 Zero ETL]
  B --> C[UniForm、XTable 和新格式互操作]
  C --> D[公有/私有云托管平台与 AI 展望]

相关卡片:数据网格四项共同约束、零ETL减轻搬运管道、UniForm转换元数据、XTable同步跨格式元数据、Puffin存扩展统计索引、Paimon面向持续更新表、托管湖仓收拢平台管理、OneLake快捷方式、私有云对象存储支撑湖仓、自然语言查询需展示生成SQL

  1. 数据网格四项共同约束 理解等级:中级 普通读书笔记卡
  2. 零ETL减轻搬运管道 理解等级:中级 普通读书笔记卡
  3. UniForm转换元数据 理解等级:中级 普通读书笔记卡
  4. XTable同步跨格式元数据 理解等级:中级 普通读书笔记卡
  5. Puffin存扩展统计索引 理解等级:中级 普通读书笔记卡
  6. Paimon面向持续更新表 理解等级:中级 普通读书笔记卡
  7. 托管湖仓收拢平台管理 理解等级:中级 普通读书笔记卡
  8. OneLake快捷方式 理解等级:中级 普通读书笔记卡
  9. 私有云对象存储支撑湖仓 理解等级:中级 普通读书笔记卡
  10. 自然语言查询需展示生成SQL 理解等级:高级 普通读书笔记卡

全书概览

Practical Lakehouse Architecture

Skill 版本:v10 作者/版次:Gaurav Ashok Thalpati;O’Reilly Media,2024 年第一版 类别:企业大数据建设类(S2 完成时复核)

整体评级

四象限结论:工程实践(高信息浓度 + 低稳定性)。 评级依据:第 2 章比较仓库、湖与湖仓架构,第 3 章讨论文件和表格式,第 7 章组合存储、计算、目录、安全与治理设计平台;各章同时涉及 2024 年具体云产品和实现,使用前需核对版本。

来源与阅读计划

  • 原书:books/20260910/Practical Lakehouse Architecture Designing and Implementing Modern Data Platforms at Scale (Gaurav Ashok Thalpati) .epub;SHA-256 edca1ae9e625003dad65d8e1aacec76f5b2d307acbef1e0f043f62e65a3e892f。
  • 解包与原 EPUB 成员逐字节一致;OPF、目录和正文清单见 _source-manifest.json;聚合 SHA-256 d1f8d3022ba5c3b3980c062d64719dec7de8656932cd4c22d9915e55b18d534b。
  • 前言与第 1–9 章全部列入正文;所有单元通读前保持 pending。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 Preface done 0
01 Chapter 1. Introduction to Lakehouse Architecture done 30
02 Chapter 2. Traditional Architectures and Modern Data Platforms done 11
03 Chapter 3. Storage: The Heart of the Lakehouse done 18
04 Chapter 4. Data Catalogs done 10
05 Chapter 5. Compute Engines for Lakehouse Architectures done 13
06 Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture done 17
07 Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform done 19
08 Chapter 8. Lakehouse in the Real World done 15
09 Chapter 9. Lakehouse of the Future done 10

非正文排除

spine项 类型 排除理由
1 / OEBPS/cover.html 非正文 封面、书名、版权或作者印制信息,无主题论述
2 / OEBPS/titlepage01.html 非正文 封面、书名、版权或作者印制信息,无主题论述
3 / OEBPS/copyright-page01.html 非正文 封面、书名、版权或作者印制信息,无主题论述
14 / OEBPS/ix01.html 非正文 索引词条,非连续正文
15 / OEBPS/colophon01.html 非正文 封面、书名、版权或作者印制信息,无主题论述
16 / OEBPS/colophon02.html 非正文 封面、书名、版权或作者印制信息,无主题论述

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics 论文 1 2021 年 CIDR 论文,提出湖仓作为结合数据仓库与高级分析的架构方向;本文只作历史脉络引用。
Deciphering Data Architectures 书 7 原书在比较数据架构时建议进一步阅读,未在本书此处展开。
Apache Iceberg: The Definitive Guide 书 3 原书在 Iceberg 表格式介绍后推荐作为进一步阅读;未在此介绍该书的具体内容。
Delta Lake: The Definitive Guide 书 3 原书在 Delta Lake 表格式介绍后推荐作为进一步阅读;未在此介绍该书的具体内容。
Data Mesh 书 9 原书讨论数据网格的领域所有权等概念时提及 Zhamak Dehghani 的著作;此处不推断该书细节。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 追踪Iceberg扫描裁剪 实现深读 done 3 固定提交的扫描链路图、测试证据和未解问题清单
2 比较UniForm与XTable 横向学习 done 9 附官方证据的互操作对照表和选择备忘录
3 核对本书卡片覆盖链 真实任务 done 8 章节对账表、异常清单与抽查记录

候选筛选:已保留三项有原文、现实对象、有限行动与可检查产出的计划;“从零自建湖仓”成本高且不针对具体疑问,“用 AI 自动写全部查询”缺少可信结果验证对象,故未生成。以上仅为计划,未执行实践。

类别清单核对

维度 覆盖状态(已覆盖/补充生成/未覆盖) 关联卡片标题或未覆盖理由
战略定位与启动时机 已覆盖 设计前核对三类输入、棕地与绿地建设区别、云平台选择受组织约束;行业竞争判断未展开。
组织职能与角色 已覆盖 数据负责人和管家分责、分析工程师连接数据生产与消费、数据建模需要领域专家。
方案选型与自建外购 已覆盖 按场景比较数据架构、摄取工具按连接与控制选、托管湖仓收拢平台管理。
平台架构与技术分层 已覆盖 数据架构先定组件关系、三区按可信程度组织数据、数据消费需要不同接口、数据运维管理全生命周期。
数据工作流与质量管理 已覆盖 源系统决定摄取模式、质量指标要落到校验、掩码令牌化不等于匿名化、原始区保留重处理依据。
业务应用场景 未覆盖 原书只提预测、推荐、营销数据集市和广告洁净室例子,未展开画像、营销、广告或征信的具体方法及风险;已定向回查第1、2、5、6、7章相关原文,不能补造。
价值评估、风险与局限 已覆盖 算总成本再选存储架构、跨模型对账分层验证、双活与主备权衡恢复成本、第三方平台仍依赖云底座;无量化投资回报模型。

主题索引维护

卡片标题 结论(已复用/已创建/无需加入/待复核) 主题文件或原因
数据平台承载数据价值 已复用 enterprise-data-strategy.md
数据架构先定组件关系 已复用 architecture-design-process.md
数据治理贯穿数据流程 已复用 data-quality-governance.md
源系统决定摄取模式 已复用 big-data-compute-paradigms.md
存储按访问用途分层 已复用 storage-model-choices.md
数据契约约定生产消费 已复用 data-quality-governance.md
数据验证兼顾技术与业务 已复用 data-quality-governance.md
ETL与ELT改变转换位置 已复用 big-data-compute-paradigms.md
数据产品面向消费 已复用 enterprise-data-strategy.md
数据可观测性检查健康 已复用 data-quality-governance.md
湖仓在数据湖上加事务层 已创建 lakehouse-open-table-formats.md
数据转换把原料变成果 已复用 big-data-compute-paradigms.md
数据消费需要不同接口 已复用 big-data-compute-paradigms.md
数据目录帮助发现数据 已复用 data-quality-governance.md
数据运维管理全生命周期 无需加入 跨生命周期的数据运维,与现有主题比较范围不吻合
文件格式与表格式分工 已创建 lakehouse-open-table-formats.md
存算分离可独立扩缩 已创建 lakehouse-open-table-formats.md
开放格式仍要核对兼容 已创建 lakehouse-open-table-formats.md
单存储层减少双份同步 已创建 lakehouse-open-table-formats.md
数据沼泽源于治理缺位 已复用 data-quality-governance.md
模式强制与演进互补 已创建 lakehouse-open-table-formats.md
时间旅行读取旧版本 已创建 lakehouse-open-table-formats.md
开放共享解耦消费方 已创建 lakehouse-open-table-formats.md
Iceberg开放表格式 已创建 lakehouse-open-table-formats.md
Hudi支持增量处理 已创建 lakehouse-open-table-formats.md
Delta Lake提供事务层 已创建 lakehouse-open-table-formats.md
计算引擎可按负载选择 已创建 lakehouse-open-table-formats.md
湖仓BI性能靠两侧优化 已创建 lakehouse-open-table-formats.md
Lambda双路径增加维护 已复用 lambda-architecture.md
单存储层容纳多形态 已创建 lakehouse-open-table-formats.md
数仓整合历史数据 已复用 enterprise-data-strategy.md
事务保证数仓一致性 已复用 transactions-offline-concurrency.md
数仓建模围绕查询 已复用 database-design-er-modeling.md
数据湖读取时解释模式 已复用 storage-model-choices.md
按负载伸缩云计算资源 已复用 capacity-scheduling.md
抢占实例只承载可中断任务 已复用 capacity-scheduling.md
双层架构依赖数据往返 已创建 lakehouse-open-table-formats.md
双层权限难保持一致 已创建 lakehouse-open-table-formats.md
按场景比较数据架构 已复用 architecture-design-process.md
数据质量随层级提升 已复用 data-quality-governance.md
算总成本再选存储架构 已复用 architecture-design-process.md
列存减少分析扫描 已复用 storage-model-choices.md
数据跳过先于扩算力 已创建 lakehouse-open-table-formats.md
对象存储核对五项约束 已复用 storage-model-choices.md
压缩文件需支持切分 已创建 lakehouse-open-table-formats.md
Parquet按行组组织列页 已创建 lakehouse-open-table-formats.md
ORC条带支持谓词裁剪 已创建 lakehouse-open-table-formats.md
Avro容器带模式与同步标记 已创建 lakehouse-open-table-formats.md
文件格式按负载组合 已创建 lakehouse-open-table-formats.md
Hive元数据与数据分置 已创建 lakehouse-open-table-formats.md
Iceberg快照指向清单 已创建 lakehouse-open-table-formats.md
隐藏分区隔离查询和布局 已创建 lakehouse-open-table-formats.md
Hudi两种更新布局取舍 已创建 lakehouse-open-table-formats.md
提交时间线支持增量读取 已创建 lakehouse-open-table-formats.md
Delta日志定义表状态 已创建 lakehouse-open-table-formats.md
清理旧文件会缩短回溯 已创建 lakehouse-open-table-formats.md
表格式选型验证兼容链 已创建 lakehouse-open-table-formats.md
基准测试不能单独定选型 已复用 architecture-design-process.md
Hive事务依赖表层机制 已创建 lakehouse-open-table-formats.md
技术元数据描述结构 已复用 data-quality-governance.md
业务元数据解释含义 已复用 data-quality-governance.md
元数据管理覆盖全周期 已复用 data-quality-governance.md
元数据仓与目录分工 已复用 data-quality-governance.md
分类标签驱动敏感治理 已复用 data-quality-governance.md
血缘用于变更影响分析 已复用 data-quality-governance.md
统一目录覆盖数据与模型 已复用 data-quality-governance.md
跨引擎授权需验证一致性 已复用 least-privilege-access-control.md
元数据仓自管增加负担 已复用 data-quality-governance.md
跨云目录汇聚多源元数据 已复用 hybrid-multi-cloud.md
批流统一仍需核算时效 已复用 big-data-compute-paradigms.md
表元数据可提前裁剪文件 已创建 lakehouse-open-table-formats.md
小文件合并降低调度开销 已创建 lakehouse-open-table-formats.md
三区按可信程度组织数据 已创建 lakehouse-open-table-formats.md
Spark承担批量转换 已复用 big-data-compute-paradigms.md
Flink面向持续流计算 已复用 big-data-compute-paradigms.md
Trino跨源查询依赖连接器 已复用 big-data-compute-paradigms.md
多引擎共享表需共享规则 已创建 lakehouse-open-table-formats.md
表协议升级先核读写端 已创建 lakehouse-open-table-formats.md
托管与原生引擎权衡 已复用 architecture-design-process.md
BI连接器须验证能力 已创建 lakehouse-open-table-formats.md
机器学习也需表兼容验证 已创建 lakehouse-open-table-formats.md
单存储层便于跨区联查 已创建 lakehouse-open-table-formats.md
治理规则与安全控制分工 已复用 data-quality-governance.md
质量指标要落到校验 已复用 data-quality-governance.md
模型质量需持续监测 已复用 data-quality-governance.md
血缘追踪敏感字段流向 已复用 data-quality-governance.md
共享资产遵循最小范围 已复用 least-privilege-access-control.md
数据负责人和管家分责 已复用 data-quality-governance.md
审计日志回答谁访问了什么 已复用 least-privilege-access-control.md
权限治理循环限制复查撤销 已复用 least-privilege-access-control.md
静态与传输加密分开验收 已复用 auth-and-cryptography.md
密钥方式决定操作责任 已复用 auth-and-cryptography.md
敏感识别要覆盖入口 已复用 data-quality-governance.md
掩码令牌化不等于匿名化 已复用 data-quality-governance.md
删除请求需核全生命周期 已复用 data-quality-governance.md
治理从平台设计初期开始 已复用 data-quality-governance.md
分析工程师连接数据生产与消费 已复用 data-quality-governance.md
表级与字段级血缘分工 已复用 data-quality-governance.md
数据洁净室约束协作分析 已复用 data-quality-governance.md
设计前核对三类输入 已复用 architecture-design-process.md
访谈覆盖不同数据角色 已复用 architecture-design-process.md
数据网格由领域负责数据产品 已复用 org-architecture-alignment.md
数据编织统一跨系统访问 已复用 hybrid-multi-cloud.md
HTAP合并事务与分析负载 已复用 big-data-compute-paradigms.md
CDC只提取新增与变更 已复用 big-data-compute-paradigms.md
摄取工具按连接与控制选 已复用 big-data-compute-paradigms.md
延迟预算决定微批或常驻 已复用 big-data-compute-paradigms.md
原始区保留重处理依据 已创建 lakehouse-open-table-formats.md
落地区解耦摄取与处理 已创建 lakehouse-open-table-formats.md
语义区面向业务自助查询 已创建 lakehouse-open-table-formats.md
DataVault三元模型 无需加入 Data Vault 建模细节与现有主题比较范围不吻合
MDM选出跨源黄金记录 已复用 data-quality-governance.md
代理键隔离来源业务键 已复用 database-design-er-modeling.md
编排统一调度依赖与告警 已复用 toil-automation.md
MLOps管理模型全生命周期 无需加入 模型生命周期管理在现有主题中无准确比较范围
数据异常监测使用历史基线 已复用 data-quality-governance.md
平台设计从需求走到验证 已复用 architecture-design-process.md
访谈量化容量与质量约束 已复用 architecture-design-process.md
棕地与绿地建设区别 已复用 architecture-design-process.md
估算纳入建模部署与治理 已复用 architecture-design-process.md
迁移期并行运行新旧平台 已复用 architecture-design-process.md
数据建模需要领域专家 已复用 database-design-er-modeling.md
云平台选择受组织约束 已复用 hybrid-multi-cloud.md
历史迁移按周期对账重跑 已复用 architecture-design-process.md
跨模型对账分层验证 已复用 data-quality-governance.md
逆向旧代码还原业务规则 已复用 architecture-design-process.md
质量规则需要业务共建 已复用 data-quality-governance.md
审计字段定位错误批次 已复用 data-quality-governance.md
RTO与RPO分别约束恢复 已复用 backup-disaster-recovery.md
双活与主备权衡恢复成本 已复用 high-availability-architecture.md
退役旧平台看迁移验收 已复用 architecture-design-process.md
第三方平台仍依赖云底座 已复用 hybrid-multi-cloud.md
迁移路径按来源和形态选 已复用 architecture-design-process.md
数据网格四项共同约束 已复用 org-architecture-alignment.md
零ETL减轻搬运管道 已复用 dataflow-unbundled-databases.md
UniForm转换元数据 已创建 lakehouse-open-table-formats.md
XTable同步跨格式元数据 已创建 lakehouse-open-table-formats.md
Puffin存扩展统计索引 已创建 lakehouse-open-table-formats.md
Paimon面向持续更新表 已创建 lakehouse-open-table-formats.md
托管湖仓收拢平台管理 已创建 lakehouse-open-table-formats.md
OneLake快捷方式 已创建 lakehouse-open-table-formats.md
私有云对象存储支撑湖仓 已创建 lakehouse-open-table-formats.md
自然语言查询需展示生成SQL 无需加入 自然语言生成SQL的校验边界在现有主题中无准确比较范围

实践候选与类别清单已在全部正文读完后核对;实践卡仅为计划,未执行。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

存储模型选型

比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。

699 张卡片 · 63 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

架构方案设计与评估

比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。

352 张卡片 · 40 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

组织与架构协同演进

比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。

255 张卡片 · 57 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

事务与离线并发控制

系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。

188 张卡片 · 35 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

数据质量与数据治理

比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。

125 张卡片 · 23 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

数据集成与分拆:一份真源与多份衍生

多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。

103 张卡片 · 23 本书

主题索引

琐事与运维自动化

比较如何识别和控制重复性运维工作,以及自动化的演进阶段、收益与风险。

85 张卡片 · 21 本书

主题索引

Lambda架构与数据系统分层

比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。

83 张卡片 · 17 本书

主题索引

业务事务与离线并发

业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。

79 张卡片 · 28 本书

主题索引

混合云与多云管理

比较混合云与多云的组合形态、异构云资源的统一适配、按敏感度与弹性需求放置负载,以及可移植性与供应商锁定的取舍。

71 张卡片 · 11 本书

主题索引

数据质量与校验

质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。

70 张卡片 · 17 本书

主题索引

企业数据战略、组织与价值评估

比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。

65 张卡片 · 8 本书

主题索引

数据库设计与E-R建模

比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。

56 张卡片 · 16 本书

主题索引

数据治理与生命周期

数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。

55 张卡片 · 15 本书

主题索引

湖仓平台与开放表格式

比较湖仓单存储层、开放文件与表格式、快照事务与数据布局、多引擎兼容以及跨格式互操作的机制和取舍。

53 张卡片 · 3 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书