知识卡片
ETL把来源数据转为目标结构
抽取先识别来源系统、格式和可用接口;转换处理质量、统一编码与粒度,并计算约定指标;加载把结果送到目标仓库,区分首次大量导入和后续刷新。每一步都要有可追踪的边界和失败处理,不因画成顺序箭头便保证最终数据正确。具体全量、增量或批量方案应按来源能力选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
Extract-Transform-Load的缩写,用来描述将数据从来源端经过数据抽取(Extract)、数据转换(Transform)、数据加载(Load)至目的端的过程。然而,数据工程师做的是数据处理逻辑,ETL背后的大数据处理框架(比如Hadoop生态)仍然需要数
参考来源
- 位置:《程序员的底层思维》第15章《数据思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_020.html`)。
- 结论依据:原文从“Extract-Transform-Load的缩写,用来描述将数”展开,与本卡的“抽取先识别来源系统、格式和可用接口;转换处理质量、统一编码与粒度,并计算约定指标;加载把结果送到目标仓库,区分首次大量导入和后续刷新”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。
- 原始内容:Extract-Transform-Load的缩写,用来描述将数据从来源端经过数据抽取(Extract)、数据转换(Transform)、数据加载(Load)至目的端的过程。然而,数据工程师做的是数据处理逻辑,ETL背后的大数据处理框架(比如Hadoop生态)仍然需要数