返回主题:湖仓平台与开放表格式

知识卡片

普通读书笔记卡 · 2280.h.1.a.13.m

列式库的更新与合并

理解等级:高级

更新持久化数据是数据工程团队的一大痛点。最初的数据湖没有考虑更新,但更新一直是处理转换结果的关键部分,GDPR 等还要求能删除原始数据集中的数据——湖仓一体很大程度上建立在解决更新问题之上。

几种更新模式: - 清空和重新加载:擦除旧数据、重跑转换、加载结果,生成新版本的表; - 仅插入:插入新版本而不改旧记录,用查询或视图按主键找最新记录。列式库通常不强制主键,主键是工程师维护的构造;查询时找最新记录计算成本极高——可组合物化视图、全量仅插入表和一张清空重载的服务表。列式库不要单行插入:会产生大量独立小文件、负荷巨大,应定期微批或批量加载(例外:BigQuery、Druid 的流缓冲 + 列存储); - 删除:列式系统和数据湖中删除比插入更贵。硬删除(性能或法律合规需要时永久删除)、软删除(标记已删除并在查询中过滤)、插入式删除(插入带 deleted 标志的新记录,查询要去重并隐藏最新版本为 deleted 的记录); - upsert/merge:按主键或条件匹配,匹配则更新、不匹配则插入,merge 还能删除。它最初为行式库设计——行式库原地修改很自然;而基于文件的系统都用写时复制(COW),文件中一条记录变化就要重写整个文件,这正是早期大数据拒绝更新的原因。

要点: - 即使支持更新命令,更新或删除单条记录的性能影响也可能很大,而大批量合并的性能可能超过事务库; - 写时复制很少重写整张表,可在分区、集群、块等粒度运行——根据需求和数据库内部机制制定分区和集群策略; - 注意合并频率:许多从行式库转来的团队试图用 CDC 近实时合并,这会让大多数列式数仓陷入困境,作者见过更新延迟数周的系统,每小时合并一次更合理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(数据更新:清空和重新加载、仅插入、删除、upsert/merge)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.1节介绍清空重载、仅插入、硬删除/软删除/插入式删除、upsert/merge等更新模式,说明列式与文件系统的写时复制机制、单行插入与近实时合并的危害,以及分区集群策略和合理的合并频率。 - 原始内容:所有这些系统都使用写时复制(Copy On Write,COW)的方式。