知识卡片
变更数据捕获
变更数据捕获(CDC)提取写入数据库的所有变更,复制到其他系统,并用[[基于日志的消息代理]]保证顺序。实现方式有二:数据库触发器简单但脆弱、开销大;解析复制日志更稳健。CDC 是异步的,慢消费者不拖累数据库,但存在复制延迟。日志压缩只保留每个键的最新值,删除用墓碑表示,所需空间只取决于当前内容;新消费者从偏移量 0 扫描即可获得完整副本,无需另做快照。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十一章:流处理
原书出处 · 1 处
- 第十一章:流处理 · 查看原书依据
你可以使用它来获取数据库内容的完整副本,而无需从CDC源数据库取一个快照。
参考来源
- 位置:《数据密集型应用系统设计》第十一章《流处理》"变更数据捕获""变更数据捕获的实现""初始快照""日志压缩"(源文件:_epub-src/ch11_split_003.html)
- 结论依据:原文说明CDC让数据库成为领导者、其他系统作追随者,列举触发器与解析复制日志两种实现方式及各自优劣,并说明日志压缩通过只保留每键最新值让新消费者无需全量快照即可重建数据库副本,直接支撑本卡片结论。
- 原始内容:变更数据捕获使得一个数据库成为领导者……解析复制日志可能是一种更稳健的方法……日志能保证包含数据库中每个键的最新值……你可以使用它来获取数据库内容的完整副本,而无需从CDC源数据库取一个快照。