知识卡片

普通读书笔记卡 · 1905.a.4

ETL把来源数据转为目标结构

理解等级:中级

抽取先识别来源系统、格式和可用接口;转换处理质量、统一编码与粒度,并计算约定指标;加载把结果送到目标仓库,区分首次大量导入和后续刷新。每一步都要有可追踪的边界和失败处理,不因画成顺序箭头便保证最终数据正确。具体全量、增量或批量方案应按来源能力选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      Extract-Transform-Load的缩写,用来描述将数据从来源端经过数据抽取(Extract)、数据转换(Transform)、数据加载(Load)至目的端的过程。然而,数据工程师做的是数据处理逻辑,ETL背后的大数据处理框架(比如Hadoop生态)仍然需要数

    参考来源

    - 位置:《程序员的底层思维》第15章《数据思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_020.html`)。 - 结论依据:原文从“Extract-Transform-Load的缩写,用来描述将数”展开,与本卡的“抽取先识别来源系统、格式和可用接口;转换处理质量、统一编码与粒度,并计算约定指标;加载把结果送到目标仓库,区分首次大量导入和后续刷新”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。 - 原始内容:Extract-Transform-Load的缩写,用来描述将数据从来源端经过数据抽取(Extract)、数据转换(Transform)、数据加载(Load)至目的端的过程。然而,数据工程师做的是数据处理逻辑,ETL背后的大数据处理框架(比如Hadoop生态)仍然需要数