知识卡片

普通读书笔记卡 · 9746.g · 生成模型:DeepSeek-V4.1-Flash

先加载后转换的ELT

理解等级:高级

传统 ETL 是抽取、转换、加载:数据在进入目标存储前就被清洗和转换。分析沙箱主张 ELT:先抽取原始数据、原样加载,转换留到沙箱里按需进行。两种顺序合称 ETLT,团队可以按案例自行选择。

差别的要害是保留原始形态。以信用卡欺诈检测为例,异常值往往正是高风险交易的信号;若走 ETL,这些异常值可能在加载前就被过滤或清洗掉,用于识别欺诈的证据随之消失,团队再也无法分析。

ELT 让团队同时拥有两套视图:一套干净、聚合、可直接建模,一套未经改动,用于比对、查找隐藏模式,或在清洗前确认细微差别。代价是存储与治理成本上升,这也是沙箱体积快速膨胀的原因之一。

数据量大时还需并行导入(Big ETL),可借助 Hadoop、MapReduce 把抽取与文件生成并行化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 数据分析生命周期 · 查看原书依据

      然而,分析沙箱方法略有不同,它主张先提取、加载,然后转换,即ELT。在这种情况下,数据是以原始格式提取的,然后加载到数据存储中,在那里分析员可以选择将数据转换到一个新的状态或者保持它的原始状态。

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第2章 数据分析生命周期(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0012_split_003.html) - 结论依据:依据 2.3.2 节对 ETL 与 ELT 差异的说明,以及信用卡欺诈检测中异常值被提前清洗的例子。 - 原始内容:然而,分析沙箱方法略有不同,它主张先提取、加载,然后转换,即ELT。在这种情况下,数据是以原始格式提取的,然后加载到数据存储中,在那里分析员可以选择将数据转换到一个新的状态或者保持它的原始状态。