知识卡片

普通读书笔记卡 · 2275.as.6.c.1.a

推送、拉取与CDC的三种做法

理解等级:中级

推送模型:源系统把数据写入目标系统(数据库、对象存储、文件系统)。拉取模型:从源系统中检索数据。两者界限常常模糊,数据在管道各阶段会被反复推送和拉取。

例子:

场景 模式 说明
传统 ETL 的抽取 拉取 获取系统按固定时间表查询源表的当前快照
触发消息式 CDC 推送 源库中每行变更触发一条消息推入队列,获取系统从队列取
基于二进制日志的 CDC 推送(日志) 数据库把每次提交写入日志,获取系统读日志而不直接与数据库交互,几乎不给源库增加负载
基于时间戳的批处理 CDC 拉取 获取系统查询源库,提取上次更新以来变化的行
流式获取 推送 数据绕过后端数据库,直接推送到端点,通常由事件流平台缓冲

流式推送的价值:对发射传感器读数的 IoT 设备很有用——不依赖数据库维护当前状态,而是把每条读数视为一个事件。这种模式在软件应用中也越来越流行:它简化实时处理,让应用开发者能为下游分析定制消息,极大地简化了数据工程师的工作。

选型含义:同样是“捕获变更”,从日志读取对源系统的影响最小,查询式拉取则会给源库带来读负载——这正是评估源系统时“读取会影响其性能吗”这一问的落点。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.4 获取·推送与拉取(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources) - 结论依据:2.1.4节“推送与拉取”定义两种模型并指出界限模糊,以传统ETL抽取、触发消息式CDC、二进制日志CDC、基于时间戳的批处理CDC和流式获取为例说明,并说明流式推送对IoT与应用开发的好处。 - 原始内容:数据库推送到它的日志。获取系统读取日志但不直接与数据库交互。这几乎不会对源数据库增加额外负载。