此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
先懂源系统再取数
源系统是生命周期第一阶段:数据工程师从源系统获取数据、处理后服务下游。但获取原始数据之前,必须了解数据存在于何处、如何生成、有何特征。作者预计随着共享数据兴起,“把数据从 A 移到 B”会大大简化,数据工程师的角色将更多转向理解数据源与目的地之间的相互作用。
数据如何生成: - 模拟数据产生于现实世界(语音、手写、演奏),通常是瞬态的,对话结束声音就消失; - 数字数据要么由模拟数据转换而来(语音转文字的短信应用),要么由数字系统直接生成(电商平台的信用卡交易记录被写进多个数据库)。
行动建议:多读源系统文档,理解其模式和特性。若源是 RDBMS,就要懂它如何写入、提交、查询——对源系统的了解程度决定了你从中获取数据的能力。
文件仍是通用交换媒介:尽管工程师希望以编程方式取数,世界上很多地方仍在收发文件(政府数据常以 Excel、CSV 下载或邮件发送)。常见源文件格式有 Excel、CSV、TXT、JSON、XML,分别可能是结构化、半结构化或非结构化的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
对源系统的了解程度会影响你从中获取数据的能力。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》第5章导语;5.1 数据源:数据是如何生成的?;5.2.1 文件和非结构化数据(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:第5章导语、5.1节和5.2.1节说明源系统阶段的定位、模拟与数字数据的区别、熟悉源系统的必要性,以及文件仍是通用数据交换媒介。
- 原始内容:对源系统的了解程度会影响你从中获取数据的能力。