← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.7

评估源系统的问题清单

理解等级:中级

生命周期不是整齐的流水线:五个阶段中,存储贯穿始终、支撑其他阶段;中间的存储、获取、转换常常重复、无序、重叠、交织。数据工程生命周期是完整数据生命周期的子集,只关注数据工程师控制的阶段。

源系统(IoT 设备、应用消息队列、事务数据库等)是数据来源,数据工程师消费其数据但通常不拥有也不控制它,因此要理解其工作方式、生成频率与速度、数据多样性,并与源系统所有者保持开放沟通——应用代码可能改变数据结构,团队甚至可能把后端迁到全新的数据库。两类典型源系统:应用+数据库(今天常是许多微服务的服务/数据库对)、物联网设备集群+消息队列。

评估源系统时要问的问题:

  • 数据源的本质是什么(应用还是设备集群)?数据在源中长期保存还是很快删除?
  • 生成速率(每秒多少事件、每小时多少数据量)?
  • 输出数据的一致性如何,空值、格式错误多常见?错误多常见?会有重复吗?会有迟到数据吗?
  • 获取数据的模式是什么,要不要跨多表甚至多系统连接才能得到全貌?
  • 模式变化(如新增列)如何处理并告知下游?
  • 多久提取一次?有状态系统是以定期快照还是 CDC 更新事件提供?如何跟踪变更?
  • 谁是下游传输的数据提供者?读取会影响源系统性能吗?
  • 源系统有上游依赖吗?有检查延迟或丢失数据的质量检查吗?

模式是最具挑战的细微差别:“无模式”不是没有模式,而是应用在写入时定义模式(消息队列、平面文件、文档库);固定模式由数据库强制。两者都有挑战——敏捷开发鼓励模式演化,而数据工程师的关键工作之一,就是把不断演化的源模式中的原始数据转成有价值的分析输出。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1 什么是数据工程生命周期;2.1.1;2.1.2 生成:源系统(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.1节说明五阶段与存储贯穿全周期、阶段之间可能交织;2.1.1节区分数据生命周期与数据工程生命周期;2.1.2节说明数据工程师不拥有源系统、两类典型源系统,列出评估源系统的关键问题,并讨论无模式与固定模式带来的挑战。 - 原始内容:数据工程师消费来自源系统的数据,但通常不拥有或控制源系统本身。