← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.10

先懂源系统再取数

理解等级:初级

源系统是生命周期第一阶段:数据工程师从源系统获取数据、处理后服务下游。但获取原始数据之前,必须了解数据存在于何处、如何生成、有何特征。作者预计随着共享数据兴起,“把数据从 A 移到 B”会大大简化,数据工程师的角色将更多转向理解数据源与目的地之间的相互作用。

数据如何生成: - 模拟数据产生于现实世界(语音、手写、演奏),通常是瞬态的,对话结束声音就消失; - 数字数据要么由模拟数据转换而来(语音转文字的短信应用),要么由数字系统直接生成(电商平台的信用卡交易记录被写进多个数据库)。

行动建议:多读源系统文档,理解其模式和特性。若源是 RDBMS,就要懂它如何写入、提交、查询——对源系统的了解程度决定了你从中获取数据的能力。

文件仍是通用交换媒介:尽管工程师希望以编程方式取数,世界上很多地方仍在收发文件(政府数据常以 Excel、CSV 下载或邮件发送)。常见源文件格式有 Excel、CSV、TXT、JSON、XML,分别可能是结构化、半结构化或非结构化的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》第5章导语;5.1 数据源:数据是如何生成的?;5.2.1 文件和非结构化数据(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources) - 结论依据:第5章导语、5.1节和5.2.1节说明源系统阶段的定位、模拟与数字数据的区别、熟悉源系统的必要性,以及文件仍是通用数据交换媒介。 - 原始内容:对源系统的了解程度会影响你从中获取数据的能力。