知识卡片

普通读书笔记卡 · 2280.h.1.a.12.d

有效负载与模式变化

理解等级:中级

有效负载的五个特征: - 种类:类型(表格、图片、视频、文本)与格式(CSV、Parquet、JPG); - 形态:维度——表格的 M 行 N 列、JSON 的键值和嵌套深度、文本的字数、图像的宽高和色深、音频的通道、采样深度和采样率。CSV 列数多于目标表就会导入出错; - 大小:可压缩(ZIP、TAR),超大负载可分块传输到对象存储或数仓后再重组; - 模式和数据类型:连接数据库很容易,最大的工程挑战是理解模式的含义。ORM 根据对象结构自动生成模式,反而让理解更难,数据工程师还要熟悉应用代码中的类结构;有些 API 只是底层系统的简单封装,必须了解应用内部结构; - 元数据:早期数据湖变成数据沼泽的重要原因之一就是完全忽视元数据。

模式变化(加列、改类型、建新表、改列名)常发生在源系统且不受控制。越来越多工具能自动检测并更新目标表,但变化仍可能破坏下游。策略:自动响应可适应的变化,对不能自动适应的变化发出告警;即使自动化能适应,新模式仍可能影响报表和 ML 模型,与数据使用方沟通和自动化同样重要。流数据中用模式注册表跟踪模式版本和历史,保证生产者与消费者一致地序列化和反序列化。

推送、拉取与轮询:推送是源系统向目标发送;拉取是目标从源读取;轮询是定期检查源的变化,检测到再拉取。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.2.7 有效负载;7.2.8 推送、拉取与轮询模式(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.2.7节说明有效负载的种类、形态、大小、模式与数据类型、元数据,强调理解模式含义是最大挑战,并给出应对模式变化与使用模式注册表的策略;7.2.8节区分推送、拉取与轮询。 - 原始内容:当数据模式需要发生改变时,与数据的使用方沟通和使用自动化同样重要。