知识卡片
评估源系统的问题清单
生命周期不是整齐的流水线:五个阶段中,存储贯穿始终、支撑其他阶段;中间的存储、获取、转换常常重复、无序、重叠、交织。数据工程生命周期是完整数据生命周期的子集,只关注数据工程师控制的阶段。
源系统(IoT 设备、应用消息队列、事务数据库等)是数据来源,数据工程师消费其数据但通常不拥有也不控制它,因此要理解其工作方式、生成频率与速度、数据多样性,并与源系统所有者保持开放沟通——应用代码可能改变数据结构,团队甚至可能把后端迁到全新的数据库。两类典型源系统:应用+数据库(今天常是许多微服务的服务/数据库对)、物联网设备集群+消息队列。
评估源系统时要问的问题:
- 数据源的本质是什么(应用还是设备集群)?数据在源中长期保存还是很快删除?
- 生成速率(每秒多少事件、每小时多少数据量)?
- 输出数据的一致性如何,空值、格式错误多常见?错误多常见?会有重复吗?会有迟到数据吗?
- 获取数据的模式是什么,要不要跨多表甚至多系统连接才能得到全貌?
- 模式变化(如新增列)如何处理并告知下游?
- 多久提取一次?有状态系统是以定期快照还是 CDC 更新事件提供?如何跟踪变更?
- 谁是下游传输的数据提供者?读取会影响源系统性能吗?
- 源系统有上游依赖吗?有检查延迟或丢失数据的质量检查吗?
模式是最具挑战的细微差别:“无模式”不是没有模式,而是应用在写入时定义模式(消息队列、平面文件、文档库);固定模式由数据库强制。两者都有挑战——敏捷开发鼓励模式演化,而数据工程师的关键工作之一,就是把不断演化的源模式中的原始数据转成有价值的分析输出。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据工程生命周期 · 查看原书依据
数据工程师消费来自源系统的数据,但通常不拥有或控制源系统本身。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1 什么是数据工程生命周期;2.1.1;2.1.2 生成:源系统(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources)
- 结论依据:2.1节说明五阶段与存储贯穿全周期、阶段之间可能交织;2.1.1节区分数据生命周期与数据工程生命周期;2.1.2节说明数据工程师不拥有源系统、两类典型源系统,列出评估源系统的关键问题,并讨论无模式与固定模式带来的挑战。
- 原始内容:数据工程师消费来自源系统的数据,但通常不拥有或控制源系统本身。