返回主题:数据集成与分拆:一份真源与多份衍生

知识卡片

普通读书笔记卡 · 2275.as.6.c.1

CDC只提取新增与变更

理解等级:中级

变更数据捕获(CDC)只识别上次摄取后源系统新增或修改的记录,避免每次全量搬运。优先确认源系统能否暴露变更日志或其他可靠增量标记;批次差分只能在数据量和删除识别等边界可控时使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Practical Lakehouse Architecture》第7章《The Big Picture: Designing and Implementing a Lakehouse Platform》(源文件:_epub-src/OEBPS/ch07.html) - 结论依据:原文将 CDC 定义为识别上次批次后源数据的增量变化,并讨论源系统不支持时的工具与批次比较。 - 原始内容:Incremental data means the changes in the source system’s data after the last batch was ingested. This process of identifying the incremental changes is also known as change data capture (CDC). Some systems might be unable to identify the incremental changes; if so, you can use third-party tools like Fivetran or Airbyte to determine incremental changes.