← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.13.n

模式更新与JSON列

理解等级:中级

模式更新:数据会在你无法控制或未经许可时变化。列式系统更新数据难,但更新模式容易——加、删、改列名通常不难。真正难的是模式管理: - 自动更新模式(Fivetran 从源复制时的做法)很方便,但可能破坏下游转换; - 是否有直接的模式更新请求流程?数据科学团队想加一个源列,审批怎么走?下游会不会中断(有没有跑 SELECT * 而非显式列的查询——这在列式库中通常是坏习惯)?实施要多久?能否为该项目建一个分叉表?

半结构化数据的新选项:许多云数仓支持任意 JSON 类型。做法是把原始 JSON 存在一个字段中,同时把常访问的数据存在相邻的扁平化字段中——多占存储,但兼顾扁平数据的便利与半结构化数据的灵活,JSON 中常访问的数据可随时间加入模式。从模式频繁变化的应用文件存储获取数据时效果很好。

数据整理(wrangling):把混乱畸形的数据变成干净可用的数据,通常是批量转换。典型过程:收到合作方的 EDI 交易和发票数据,先把整行作为单个文本字段获取,再写查询解析拆解,发现异常和边缘情况,最终得到大致稳定的模式,下游转换才能开始。作者把数据整理工具看作处理异常数据的 IDE:可视化展示样本、推断类型、分布、异常值和空值,添加处理步骤后推送到 Spark 等在全量数据上运行,再根据返回的异常细化配置。强烈建议有经验的工程师试用,也可把部分解析工作交给分析师。

Spark 转换实例:Airflow 从三个 API 获取 JSON 存到 S3 不同前缀 → 调用 Spark 加载为 DataFrame、转为嵌套关系格式、合并成一张表、用 SQL 过滤 → 以 Parquet 写入 Delta Lake 表。过程中大数据源会溢出到磁盘,连接需要洗牌,最后压缩写回 S3;Airflow 轮询作业状态。这里有两个 DAG:Airflow 的和 Spark 作业自己的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(模式更新;数据整理;例子:Spark中的数据转换)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.1节讨论模式更新的管理问题与原始JSON加扁平字段的折中方案,介绍数据整理的典型过程与工具价值,并以Airflow加Spark写Delta Lake的管道说明转换的执行细节。 - 原始内容:一种方法是将原始JSON存储在一个字段中,同时将经常访问的数据存储在相邻的扁平化字段中。