主题索引
存储模型选型
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
来源书籍
6/7
图式:层级结构图 选择理由:阅读计划初选层级结构图;全书先解释数据平台和湖仓的概念,再逐层讨论存储、目录、计算与治理,继而给出平台设计、项目交付和未来演进,前后存在清晰的架构依赖。全文复核后确认,该图式比并列主题图更能表达从原理到平台落地的论述顺序。 核心主旨:如何把开放对象存储、事务表格式、弹性计算、统一元数据及治理能力组合成可扩展、可运营的湖仓平台。 论述主线:先建立数据架构和湖仓的定位,比较数据湖、数仓与现代平台;再依次展开存储格式、元数据目录、计算引擎和治理安全等核心平台能力;随后把这些组件汇总成架构蓝图和实施步骤;最后通过现实项目生命周期说明迁移和运维方式,并以数据网格、HTAP、零 ETL、格式互操作和 AI 展望后续方向。产品与路线图细节按原书 2024 年版本理解,不直接视为当前部署状态。
flowchart TD
A[数据架构与湖仓定位] --> B[现代平台比较]
B --> C[对象存储与表格式]
C --> D[元数据目录]
D --> E[计算引擎]
E --> F[治理与安全]
F --> G[平台蓝图与设计方法]
G --> H[项目估算、迁移和运维]
H --> I[未来架构方向与互操作]
章节作用:说明本书的读者、写作动机与阅读路线,为后续架构论证设定范围。
内容脉络:目标读者和问题范围 → 写作动机 → 章节路线与术语约定。
flowchart TD
A[目标读者和问题范围]
A --> B[写作动机]
B --> C[章节路线与术语约定]
相关卡片:无(本章无合格知识卡)
章节作用:从数据架构与平台基础引出湖仓,解释它如何结合数据湖与数仓能力并形成自身特征。
内容脉络:数据架构与平台组件 → ETL/ELT 与架构演进动因 → 湖仓的历史和定位 → 湖仓特征、收益与适用边界。
flowchart TD
A[数据架构与平台组件]
A --> B[ETL/ELT 与架构演进动因]
B --> C[湖仓的历史和定位]
C --> D[湖仓特征、收益与适用边界]
相关卡片:数据平台承载数据价值、数据架构先定组件关系、数据治理贯穿数据流程、源系统决定摄取模式、存储按访问用途分层、数据契约约定生产消费、数据验证兼顾技术与业务、ETL与ELT改变转换位置、数据产品面向消费、数据可观测性检查健康、湖仓在数据湖上加事务层、数据转换把原料变成果、数据消费需要不同接口、数据目录帮助发现数据、数据运维管理全生命周期、文件格式与表格式分工、存算分离可独立扩缩、开放格式仍要核对兼容、单存储层减少双份同步、数据沼泽源于治理缺位、模式强制与演进互补、时间旅行读取旧版本、开放共享解耦消费方、Iceberg开放表格式、Hudi支持增量处理、Delta Lake提供事务层、计算引擎可按负载选择、湖仓BI性能靠两侧优化、Lambda双路径增加维护、单存储层容纳多形态
章节作用:对照数据仓库、数据湖与云端现代平台,沿部署、管理能力和业务结果说明架构选择。
内容脉络:数据仓库与 ACID 基础 → 数据湖能力及限制 → 云端独立或组合平台 → 能力、运营与业务结果比较。
flowchart TD
A[数据仓库与 ACID 基础]
A --> B[数据湖能力及限制]
B --> C[云端独立或组合平台]
C --> D[能力、运营与业务结果比较]
相关卡片:数仓整合历史数据、事务保证数仓一致性、数仓建模围绕查询、数据湖读取时解释模式、按负载伸缩云计算资源、抢占实例只承载可中断任务、双层架构依赖数据往返、双层权限难保持一致、按场景比较数据架构、数据质量随层级提升、算总成本再选存储架构
章节作用:从文件和对象存储推进到表格式,比较列式设计、性能优化、生态支持和基准证据。
内容脉络:行式/列式与文件布局 → 对象存储和可切分格式 → Iceberg、Delta、Hudi 等表格式 → 功能、生态和性能取舍。
flowchart TD
A[行式/列式与文件布局]
A --> B[对象存储和可切分格式]
B --> C[Iceberg、Delta、Hudi 等表格式]
C --> D[功能、生态和性能取舍]
相关卡片:列存减少分析扫描、数据跳过先于扩算力、对象存储核对五项约束、压缩文件需支持切分、Parquet按行组组织列页、ORC条带支持谓词裁剪、Avro容器带模式与同步标记、文件格式按负载组合、Hive元数据与数据分置、Iceberg快照指向清单、隐藏分区隔离查询和布局、Hudi两种更新布局取舍、提交时间线支持增量读取、Delta日志定义表状态、清理旧文件会缩短回溯、表格式选型验证兼容链、基准测试不能单独定选型、Hive事务依赖表层机制
章节作用:先解释技术与业务元数据,再从发现、治理和血缘需要导出统一目录设计及云平台选项。
内容脉络:元数据类型与管理 → 检索、分类、治理和血缘 → 孤岛问题与统一目录收益 → 目录实现选项与目录之目录。
flowchart TD
A[元数据类型与管理]
A --> B[检索、分类、治理和血缘]
B --> C[孤岛问题与统一目录收益]
C --> D[目录实现选项与目录之目录]
相关卡片:技术元数据描述结构、业务元数据解释含义、元数据管理覆盖全周期、元数据仓与目录分工、分类标签驱动敏感治理、血缘用于变更影响分析、统一目录覆盖数据与模型、跨引擎授权需验证一致性、元数据仓自管增加负担、跨云目录汇聚多源元数据
章节作用:说明存算分离如何支持多引擎工作负载,再以格式支持、生态和消费场景评估引擎选择。
内容脉络:湖仓计算收益与跨域访问 → 批处理、实时和 BI 工作负载 → 开源、云服务与第三方引擎 → 格式兼容、用户画像与选型约束。
flowchart TD
A[湖仓计算收益与跨域访问]
A --> B[批处理、实时和 BI 工作负载]
B --> C[开源、云服务与第三方引擎]
C --> D[格式兼容、用户画像与选型约束]
相关卡片:批流统一仍需核算时效、表元数据可提前裁剪文件、小文件合并降低调度开销、三区按可信程度组织数据、Spark承担批量转换、Flink面向持续流计算、Trino跨源查询依赖连接器、多引擎共享表需共享规则、表协议升级先核读写端、托管与原生引擎权衡、BI连接器须验证能力、机器学习也需表兼容验证、单存储层便于跨区联查
章节作用:把数据治理、安全和 AI 资产治理纳入统一平台过程,覆盖质量、合规、所有权、审计、访问和保护。
内容脉络:治理与安全目标 → 元数据、合规和资产质量 → 血缘、共享与数据所有权 → 审计、访问管理和敏感数据保护。
flowchart TD
A[治理与安全目标]
A --> B[元数据、合规和资产质量]
B --> C[血缘、共享与数据所有权]
C --> D[审计、访问管理和敏感数据保护]
相关卡片:治理规则与安全控制分工、质量指标要落到校验、模型质量需持续监测、血缘追踪敏感字段流向、共享资产遵循最小范围、数据负责人和管家分责、审计日志回答谁访问了什么、权限治理循环限制复查撤销、静态与传输加密分开验收、密钥方式决定操作责任、敏感识别要覆盖入口、掩码令牌化不等于匿名化、删除请求需核全生命周期、治理从平台设计初期开始、分析工程师连接数据生产与消费、表级与字段级血缘分工、数据洁净室约束协作分析
章节作用:由组织目标和现状评估确定架构原则,再把平台拆为数据接入、存储、处理、交付与公共服务组件。
内容脉络:需求、现状与组织战略 → 架构原则和平台运行约束 → 数据生态与治理/安全 → 平台蓝图与分层设计步骤。
flowchart TD
A[需求、现状与组织战略]
A --> B[架构原则和平台运行约束]
B --> C[数据生态与治理/安全]
C --> D[平台蓝图与分层设计步骤]
相关卡片:设计前核对三类输入、访谈覆盖不同数据角色、数据网格由领域负责数据产品、数据编织统一跨系统访问、HTAP合并事务与分析负载、CDC只提取新增与变更、摄取工具按连接与控制选、延迟预算决定微批或常驻、原始区保留重处理依据、落地区解耦摄取与处理、语义区面向业务自助查询、DataVault三元模型、MDM选出跨源黄金记录、代理键隔离来源业务键、编排统一调度依赖与告警、MLOps管理模型全生命周期、数据异常监测使用历史基线、平台设计从需求走到验证、访谈量化容量与质量约束
章节作用:按交付生命周期说明估算规划、分析设计、实施测试和运维支持,并处理迁移、对账、质量与退役。
内容脉络:估算与计划 → 现状分析、建模与技术栈 → 迁移、对账、测试和数据质量 → 审计、灾备、维护与旧系统退役。
flowchart TD
A[估算与计划]
A --> B[现状分析、建模与技术栈]
B --> C[迁移、对账、测试和数据质量]
C --> D[审计、灾备、维护与旧系统退役]
相关卡片:棕地与绿地建设区别、估算纳入建模部署与治理、迁移期并行运行新旧平台、数据建模需要领域专家、云平台选择受组织约束、历史迁移按周期对账重跑、跨模型对账分层验证、逆向旧代码还原业务规则、质量规则需要业务共建、审计字段定位错误批次、RTO与RPO分别约束恢复、双活与主备权衡恢复成本、退役旧平台看迁移验收、第三方平台仍依赖云底座、迁移路径按来源和形态选
章节作用:讨论湖仓演进方向,包括数据网格、HTAP、零 ETL、格式互操作、托管平台及 AI 场景;区分趋势和已验证能力。
内容脉络:数仓向湖仓的演进 → Data Mesh、HTAP 与 Zero ETL → UniForm、XTable 和新格式互操作 → 公有/私有云托管平台与 AI 展望。
flowchart TD
A[数仓向湖仓的演进]
A --> B[Data Mesh、HTAP 与 Zero ETL]
B --> C[UniForm、XTable 和新格式互操作]
C --> D[公有/私有云托管平台与 AI 展望]
相关卡片:数据网格四项共同约束、零ETL减轻搬运管道、UniForm转换元数据、XTable同步跨格式元数据、Puffin存扩展统计索引、Paimon面向持续更新表、托管湖仓收拢平台管理、OneLake快捷方式、私有云对象存储支撑湖仓、自然语言查询需展示生成SQL
Skill 版本:v10 作者/版次:Gaurav Ashok Thalpati;O’Reilly Media,2024 年第一版 类别:企业大数据建设类(S2 完成时复核)
四象限结论:工程实践(高信息浓度 + 低稳定性)。 评级依据:第 2 章比较仓库、湖与湖仓架构,第 3 章讨论文件和表格式,第 7 章组合存储、计算、目录、安全与治理设计平台;各章同时涉及 2024 年具体云产品和实现,使用前需核对版本。
books/20260910/Practical Lakehouse Architecture Designing and Implementing Modern Data Platforms at Scale (Gaurav Ashok Thalpati) .epub;SHA-256 edca1ae9e625003dad65d8e1aacec76f5b2d307acbef1e0f043f62e65a3e892f。_source-manifest.json;聚合 SHA-256 d1f8d3022ba5c3b3980c062d64719dec7de8656932cd4c22d9915e55b18d534b。| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | Preface | done | 0 |
| 01 | Chapter 1. Introduction to Lakehouse Architecture | done | 30 |
| 02 | Chapter 2. Traditional Architectures and Modern Data Platforms | done | 11 |
| 03 | Chapter 3. Storage: The Heart of the Lakehouse | done | 18 |
| 04 | Chapter 4. Data Catalogs | done | 10 |
| 05 | Chapter 5. Compute Engines for Lakehouse Architectures | done | 13 |
| 06 | Chapter 6. Data (and AI) Governance and Security in Lakehouse Architecture | done | 17 |
| 07 | Chapter 7. The Big Picture: Designing and Implementing a Lakehouse Platform | done | 19 |
| 08 | Chapter 8. Lakehouse in the Real World | done | 15 |
| 09 | Chapter 9. Lakehouse of the Future | done | 10 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 1 / OEBPS/cover.html | 非正文 | 封面、书名、版权或作者印制信息,无主题论述 |
| 2 / OEBPS/titlepage01.html | 非正文 | 封面、书名、版权或作者印制信息,无主题论述 |
| 3 / OEBPS/copyright-page01.html | 非正文 | 封面、书名、版权或作者印制信息,无主题论述 |
| 14 / OEBPS/ix01.html | 非正文 | 索引词条,非连续正文 |
| 15 / OEBPS/colophon01.html | 非正文 | 封面、书名、版权或作者印制信息,无主题论述 |
| 16 / OEBPS/colophon02.html | 非正文 | 封面、书名、版权或作者印制信息,无主题论述 |
| 术语名 | 出现章节 | 一句话语境 |
|---|
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics | 论文 | 1 | 2021 年 CIDR 论文,提出湖仓作为结合数据仓库与高级分析的架构方向;本文只作历史脉络引用。 |
| Deciphering Data Architectures | 书 | 7 | 原书在比较数据架构时建议进一步阅读,未在本书此处展开。 |
| Apache Iceberg: The Definitive Guide | 书 | 3 | 原书在 Iceberg 表格式介绍后推荐作为进一步阅读;未在此介绍该书的具体内容。 |
| Delta Lake: The Definitive Guide | 书 | 3 | 原书在 Delta Lake 表格式介绍后推荐作为进一步阅读;未在此介绍该书的具体内容。 |
| Data Mesh | 书 | 9 | 原书讨论数据网格的领域所有权等概念时提及 Zhamak Dehghani 的著作;此处不推断该书细节。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 追踪Iceberg扫描裁剪 | 实现深读 | done | 3 | 固定提交的扫描链路图、测试证据和未解问题清单 |
| 2 | 比较UniForm与XTable | 横向学习 | done | 9 | 附官方证据的互操作对照表和选择备忘录 |
| 3 | 核对本书卡片覆盖链 | 真实任务 | done | 8 | 章节对账表、异常清单与抽查记录 |
候选筛选:已保留三项有原文、现实对象、有限行动与可检查产出的计划;“从零自建湖仓”成本高且不针对具体疑问,“用 AI 自动写全部查询”缺少可信结果验证对象,故未生成。以上仅为计划,未执行实践。
| 维度 | 覆盖状态(已覆盖/补充生成/未覆盖) | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 战略定位与启动时机 | 已覆盖 | 设计前核对三类输入、棕地与绿地建设区别、云平台选择受组织约束;行业竞争判断未展开。 |
| 组织职能与角色 | 已覆盖 | 数据负责人和管家分责、分析工程师连接数据生产与消费、数据建模需要领域专家。 |
| 方案选型与自建外购 | 已覆盖 | 按场景比较数据架构、摄取工具按连接与控制选、托管湖仓收拢平台管理。 |
| 平台架构与技术分层 | 已覆盖 | 数据架构先定组件关系、三区按可信程度组织数据、数据消费需要不同接口、数据运维管理全生命周期。 |
| 数据工作流与质量管理 | 已覆盖 | 源系统决定摄取模式、质量指标要落到校验、掩码令牌化不等于匿名化、原始区保留重处理依据。 |
| 业务应用场景 | 未覆盖 | 原书只提预测、推荐、营销数据集市和广告洁净室例子,未展开画像、营销、广告或征信的具体方法及风险;已定向回查第1、2、5、6、7章相关原文,不能补造。 |
| 价值评估、风险与局限 | 已覆盖 | 算总成本再选存储架构、跨模型对账分层验证、双活与主备权衡恢复成本、第三方平台仍依赖云底座;无量化投资回报模型。 |
| 卡片标题 | 结论(已复用/已创建/无需加入/待复核) | 主题文件或原因 |
|---|---|---|
| 数据平台承载数据价值 | 已复用 | enterprise-data-strategy.md |
| 数据架构先定组件关系 | 已复用 | architecture-design-process.md |
| 数据治理贯穿数据流程 | 已复用 | data-quality-governance.md |
| 源系统决定摄取模式 | 已复用 | big-data-compute-paradigms.md |
| 存储按访问用途分层 | 已复用 | storage-model-choices.md |
| 数据契约约定生产消费 | 已复用 | data-quality-governance.md |
| 数据验证兼顾技术与业务 | 已复用 | data-quality-governance.md |
| ETL与ELT改变转换位置 | 已复用 | big-data-compute-paradigms.md |
| 数据产品面向消费 | 已复用 | enterprise-data-strategy.md |
| 数据可观测性检查健康 | 已复用 | data-quality-governance.md |
| 湖仓在数据湖上加事务层 | 已创建 | lakehouse-open-table-formats.md |
| 数据转换把原料变成果 | 已复用 | big-data-compute-paradigms.md |
| 数据消费需要不同接口 | 已复用 | big-data-compute-paradigms.md |
| 数据目录帮助发现数据 | 已复用 | data-quality-governance.md |
| 数据运维管理全生命周期 | 无需加入 | 跨生命周期的数据运维,与现有主题比较范围不吻合 |
| 文件格式与表格式分工 | 已创建 | lakehouse-open-table-formats.md |
| 存算分离可独立扩缩 | 已创建 | lakehouse-open-table-formats.md |
| 开放格式仍要核对兼容 | 已创建 | lakehouse-open-table-formats.md |
| 单存储层减少双份同步 | 已创建 | lakehouse-open-table-formats.md |
| 数据沼泽源于治理缺位 | 已复用 | data-quality-governance.md |
| 模式强制与演进互补 | 已创建 | lakehouse-open-table-formats.md |
| 时间旅行读取旧版本 | 已创建 | lakehouse-open-table-formats.md |
| 开放共享解耦消费方 | 已创建 | lakehouse-open-table-formats.md |
| Iceberg开放表格式 | 已创建 | lakehouse-open-table-formats.md |
| Hudi支持增量处理 | 已创建 | lakehouse-open-table-formats.md |
| Delta Lake提供事务层 | 已创建 | lakehouse-open-table-formats.md |
| 计算引擎可按负载选择 | 已创建 | lakehouse-open-table-formats.md |
| 湖仓BI性能靠两侧优化 | 已创建 | lakehouse-open-table-formats.md |
| Lambda双路径增加维护 | 已复用 | lambda-architecture.md |
| 单存储层容纳多形态 | 已创建 | lakehouse-open-table-formats.md |
| 数仓整合历史数据 | 已复用 | enterprise-data-strategy.md |
| 事务保证数仓一致性 | 已复用 | transactions-offline-concurrency.md |
| 数仓建模围绕查询 | 已复用 | database-design-er-modeling.md |
| 数据湖读取时解释模式 | 已复用 | storage-model-choices.md |
| 按负载伸缩云计算资源 | 已复用 | capacity-scheduling.md |
| 抢占实例只承载可中断任务 | 已复用 | capacity-scheduling.md |
| 双层架构依赖数据往返 | 已创建 | lakehouse-open-table-formats.md |
| 双层权限难保持一致 | 已创建 | lakehouse-open-table-formats.md |
| 按场景比较数据架构 | 已复用 | architecture-design-process.md |
| 数据质量随层级提升 | 已复用 | data-quality-governance.md |
| 算总成本再选存储架构 | 已复用 | architecture-design-process.md |
| 列存减少分析扫描 | 已复用 | storage-model-choices.md |
| 数据跳过先于扩算力 | 已创建 | lakehouse-open-table-formats.md |
| 对象存储核对五项约束 | 已复用 | storage-model-choices.md |
| 压缩文件需支持切分 | 已创建 | lakehouse-open-table-formats.md |
| Parquet按行组组织列页 | 已创建 | lakehouse-open-table-formats.md |
| ORC条带支持谓词裁剪 | 已创建 | lakehouse-open-table-formats.md |
| Avro容器带模式与同步标记 | 已创建 | lakehouse-open-table-formats.md |
| 文件格式按负载组合 | 已创建 | lakehouse-open-table-formats.md |
| Hive元数据与数据分置 | 已创建 | lakehouse-open-table-formats.md |
| Iceberg快照指向清单 | 已创建 | lakehouse-open-table-formats.md |
| 隐藏分区隔离查询和布局 | 已创建 | lakehouse-open-table-formats.md |
| Hudi两种更新布局取舍 | 已创建 | lakehouse-open-table-formats.md |
| 提交时间线支持增量读取 | 已创建 | lakehouse-open-table-formats.md |
| Delta日志定义表状态 | 已创建 | lakehouse-open-table-formats.md |
| 清理旧文件会缩短回溯 | 已创建 | lakehouse-open-table-formats.md |
| 表格式选型验证兼容链 | 已创建 | lakehouse-open-table-formats.md |
| 基准测试不能单独定选型 | 已复用 | architecture-design-process.md |
| Hive事务依赖表层机制 | 已创建 | lakehouse-open-table-formats.md |
| 技术元数据描述结构 | 已复用 | data-quality-governance.md |
| 业务元数据解释含义 | 已复用 | data-quality-governance.md |
| 元数据管理覆盖全周期 | 已复用 | data-quality-governance.md |
| 元数据仓与目录分工 | 已复用 | data-quality-governance.md |
| 分类标签驱动敏感治理 | 已复用 | data-quality-governance.md |
| 血缘用于变更影响分析 | 已复用 | data-quality-governance.md |
| 统一目录覆盖数据与模型 | 已复用 | data-quality-governance.md |
| 跨引擎授权需验证一致性 | 已复用 | least-privilege-access-control.md |
| 元数据仓自管增加负担 | 已复用 | data-quality-governance.md |
| 跨云目录汇聚多源元数据 | 已复用 | hybrid-multi-cloud.md |
| 批流统一仍需核算时效 | 已复用 | big-data-compute-paradigms.md |
| 表元数据可提前裁剪文件 | 已创建 | lakehouse-open-table-formats.md |
| 小文件合并降低调度开销 | 已创建 | lakehouse-open-table-formats.md |
| 三区按可信程度组织数据 | 已创建 | lakehouse-open-table-formats.md |
| Spark承担批量转换 | 已复用 | big-data-compute-paradigms.md |
| Flink面向持续流计算 | 已复用 | big-data-compute-paradigms.md |
| Trino跨源查询依赖连接器 | 已复用 | big-data-compute-paradigms.md |
| 多引擎共享表需共享规则 | 已创建 | lakehouse-open-table-formats.md |
| 表协议升级先核读写端 | 已创建 | lakehouse-open-table-formats.md |
| 托管与原生引擎权衡 | 已复用 | architecture-design-process.md |
| BI连接器须验证能力 | 已创建 | lakehouse-open-table-formats.md |
| 机器学习也需表兼容验证 | 已创建 | lakehouse-open-table-formats.md |
| 单存储层便于跨区联查 | 已创建 | lakehouse-open-table-formats.md |
| 治理规则与安全控制分工 | 已复用 | data-quality-governance.md |
| 质量指标要落到校验 | 已复用 | data-quality-governance.md |
| 模型质量需持续监测 | 已复用 | data-quality-governance.md |
| 血缘追踪敏感字段流向 | 已复用 | data-quality-governance.md |
| 共享资产遵循最小范围 | 已复用 | least-privilege-access-control.md |
| 数据负责人和管家分责 | 已复用 | data-quality-governance.md |
| 审计日志回答谁访问了什么 | 已复用 | least-privilege-access-control.md |
| 权限治理循环限制复查撤销 | 已复用 | least-privilege-access-control.md |
| 静态与传输加密分开验收 | 已复用 | auth-and-cryptography.md |
| 密钥方式决定操作责任 | 已复用 | auth-and-cryptography.md |
| 敏感识别要覆盖入口 | 已复用 | data-quality-governance.md |
| 掩码令牌化不等于匿名化 | 已复用 | data-quality-governance.md |
| 删除请求需核全生命周期 | 已复用 | data-quality-governance.md |
| 治理从平台设计初期开始 | 已复用 | data-quality-governance.md |
| 分析工程师连接数据生产与消费 | 已复用 | data-quality-governance.md |
| 表级与字段级血缘分工 | 已复用 | data-quality-governance.md |
| 数据洁净室约束协作分析 | 已复用 | data-quality-governance.md |
| 设计前核对三类输入 | 已复用 | architecture-design-process.md |
| 访谈覆盖不同数据角色 | 已复用 | architecture-design-process.md |
| 数据网格由领域负责数据产品 | 已复用 | org-architecture-alignment.md |
| 数据编织统一跨系统访问 | 已复用 | hybrid-multi-cloud.md |
| HTAP合并事务与分析负载 | 已复用 | big-data-compute-paradigms.md |
| CDC只提取新增与变更 | 已复用 | big-data-compute-paradigms.md |
| 摄取工具按连接与控制选 | 已复用 | big-data-compute-paradigms.md |
| 延迟预算决定微批或常驻 | 已复用 | big-data-compute-paradigms.md |
| 原始区保留重处理依据 | 已创建 | lakehouse-open-table-formats.md |
| 落地区解耦摄取与处理 | 已创建 | lakehouse-open-table-formats.md |
| 语义区面向业务自助查询 | 已创建 | lakehouse-open-table-formats.md |
| DataVault三元模型 | 无需加入 | Data Vault 建模细节与现有主题比较范围不吻合 |
| MDM选出跨源黄金记录 | 已复用 | data-quality-governance.md |
| 代理键隔离来源业务键 | 已复用 | database-design-er-modeling.md |
| 编排统一调度依赖与告警 | 已复用 | toil-automation.md |
| MLOps管理模型全生命周期 | 无需加入 | 模型生命周期管理在现有主题中无准确比较范围 |
| 数据异常监测使用历史基线 | 已复用 | data-quality-governance.md |
| 平台设计从需求走到验证 | 已复用 | architecture-design-process.md |
| 访谈量化容量与质量约束 | 已复用 | architecture-design-process.md |
| 棕地与绿地建设区别 | 已复用 | architecture-design-process.md |
| 估算纳入建模部署与治理 | 已复用 | architecture-design-process.md |
| 迁移期并行运行新旧平台 | 已复用 | architecture-design-process.md |
| 数据建模需要领域专家 | 已复用 | database-design-er-modeling.md |
| 云平台选择受组织约束 | 已复用 | hybrid-multi-cloud.md |
| 历史迁移按周期对账重跑 | 已复用 | architecture-design-process.md |
| 跨模型对账分层验证 | 已复用 | data-quality-governance.md |
| 逆向旧代码还原业务规则 | 已复用 | architecture-design-process.md |
| 质量规则需要业务共建 | 已复用 | data-quality-governance.md |
| 审计字段定位错误批次 | 已复用 | data-quality-governance.md |
| RTO与RPO分别约束恢复 | 已复用 | backup-disaster-recovery.md |
| 双活与主备权衡恢复成本 | 已复用 | high-availability-architecture.md |
| 退役旧平台看迁移验收 | 已复用 | architecture-design-process.md |
| 第三方平台仍依赖云底座 | 已复用 | hybrid-multi-cloud.md |
| 迁移路径按来源和形态选 | 已复用 | architecture-design-process.md |
| 数据网格四项共同约束 | 已复用 | org-architecture-alignment.md |
| 零ETL减轻搬运管道 | 已复用 | dataflow-unbundled-databases.md |
| UniForm转换元数据 | 已创建 | lakehouse-open-table-formats.md |
| XTable同步跨格式元数据 | 已创建 | lakehouse-open-table-formats.md |
| Puffin存扩展统计索引 | 已创建 | lakehouse-open-table-formats.md |
| Paimon面向持续更新表 | 已创建 | lakehouse-open-table-formats.md |
| 托管湖仓收拢平台管理 | 已创建 | lakehouse-open-table-formats.md |
| OneLake快捷方式 | 已创建 | lakehouse-open-table-formats.md |
| 私有云对象存储支撑湖仓 | 已创建 | lakehouse-open-table-formats.md |
| 自然语言查询需展示生成SQL | 无需加入 | 自然语言生成SQL的校验边界在现有主题中无准确比较范围 |
实践候选与类别清单已在全部正文读完后核对;实践卡仅为计划,未执行。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较数据质量维度与校验、清洗与脱敏、关联标识、生命周期管理、权限分层以及数据风险管控的做法,和数据质量长期被低估的原因。
主题索引
把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。
主题索引
多个数据系统怎样连成一套:分拆数据库与读写路径、CDC 与日志捕获、双写与发件箱、数据共享与缓存复制、数据湖与湖仓分工、端到端正确性与可审计性。
主题索引
比较如何识别和控制重复性运维工作,以及自动化的演进阶段、收益与风险。
主题索引
比较以不可变主数据、批处理层、服务层与速度层构建数据系统的思路,以及重算、增量与视图合并的取舍。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
比较混合云与多云的组合形态、异构云资源的统一适配、按敏感度与弹性需求放置负载,以及可移植性与供应商锁定的取舍。
主题索引
质量六维度怎样落成可执行的校验规则、清洗与脱敏怎样分工、缺失与异常值按什么口径处理,实体匹配为什么误合并比重复更危险,以及质量指标、血缘追踪与数据可观测性怎样组成修复闭环。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
主题索引
比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。
主题索引
数据目录与元数据(技术/业务/血缘)怎样支撑发现与影响分析,所有权矩阵、数据契约与口径治理怎样划分责任,权限分层、脱敏与删除请求怎样贯穿生命周期,以及数据风险与合规为什么要一票否决。
主题索引
比较湖仓单存储层、开放文件与表格式、快照事务与数据布局、多引擎兼容以及跨格式互操作的机制和取舍。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。