知识卡片
模式更新与JSON列
模式更新:数据会在你无法控制或未经许可时变化。列式系统更新数据难,但更新模式容易——加、删、改列名通常不难。真正难的是模式管理:
- 自动更新模式(Fivetran 从源复制时的做法)很方便,但可能破坏下游转换;
- 是否有直接的模式更新请求流程?数据科学团队想加一个源列,审批怎么走?下游会不会中断(有没有跑 SELECT * 而非显式列的查询——这在列式库中通常是坏习惯)?实施要多久?能否为该项目建一个分叉表?
半结构化数据的新选项:许多云数仓支持任意 JSON 类型。做法是把原始 JSON 存在一个字段中,同时把常访问的数据存在相邻的扁平化字段中——多占存储,但兼顾扁平数据的便利与半结构化数据的灵活,JSON 中常访问的数据可随时间加入模式。从模式频繁变化的应用文件存储获取数据时效果很好。
数据整理(wrangling):把混乱畸形的数据变成干净可用的数据,通常是批量转换。典型过程:收到合作方的 EDI 交易和发票数据,先把整行作为单个文本字段获取,再写查询解析拆解,发现异常和边缘情况,最终得到大致稳定的模式,下游转换才能开始。作者把数据整理工具看作处理异常数据的 IDE:可视化展示样本、推断类型、分布、异常值和空值,添加处理步骤后推送到 Spark 等在全量数据上运行,再根据返回的异常细化配置。强烈建议有经验的工程师试用,也可把部分解析工作交给分析师。
Spark 转换实例:Airflow 从三个 API 获取 JSON 存到 S3 不同前缀 → 调用 Spark 加载为 DataFrame、转为嵌套关系格式、合并成一张表、用 SQL 过滤 → 以 Parquet 写入 Delta Lake 表。过程中大数据源会溢出到磁盘,连接需要洗牌,最后压缩写回 S3;Airflow 轮询作业状态。这里有两个 DAG:Airflow 的和 Spark 作业自己的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
一种方法是将原始JSON存储在一个字段中,同时将经常访问的数据存储在相邻的扁平化字段中。