知识卡片
推送、拉取与CDC的三种做法
推送模型:源系统把数据写入目标系统(数据库、对象存储、文件系统)。拉取模型:从源系统中检索数据。两者界限常常模糊,数据在管道各阶段会被反复推送和拉取。
例子:
| 场景 | 模式 | 说明 |
|---|---|---|
| 传统 ETL 的抽取 | 拉取 | 获取系统按固定时间表查询源表的当前快照 |
| 触发消息式 CDC | 推送 | 源库中每行变更触发一条消息推入队列,获取系统从队列取 |
| 基于二进制日志的 CDC | 推送(日志) | 数据库把每次提交写入日志,获取系统读日志而不直接与数据库交互,几乎不给源库增加负载 |
| 基于时间戳的批处理 CDC | 拉取 | 获取系统查询源库,提取上次更新以来变化的行 |
| 流式获取 | 推送 | 数据绕过后端数据库,直接推送到端点,通常由事件流平台缓冲 |
流式推送的价值:对发射传感器读数的 IoT 设备很有用——不依赖数据库维护当前状态,而是把每条读数视为一个事件。这种模式在软件应用中也越来越流行:它简化实时处理,让应用开发者能为下游分析定制消息,极大地简化了数据工程师的工作。
选型含义:同样是“捕获变更”,从日志读取对源系统的影响最小,查询式拉取则会给源库带来读负载——这正是评估源系统时“读取会影响其性能吗”这一问的落点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据工程生命周期 · 查看原书依据
数据库推送到它的日志。获取系统读取日志但不直接与数据库交互。这几乎不会对源数据库增加额外负载。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第02章《第2章 数据工程生命周期》2.1.4 获取·推送与拉取(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0007.xhtml,来源项目 book-sources)
- 结论依据:2.1.4节“推送与拉取”定义两种模型并指出界限模糊,以传统ETL抽取、触发消息式CDC、二进制日志CDC、基于时间戳的批处理CDC和流式获取为例说明,并说明流式推送对IoT与应用开发的好处。
- 原始内容:数据库推送到它的日志。获取系统读取日志但不直接与数据库交互。这几乎不会对源数据库增加额外负载。