← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.12.h

CDC复制与读副本

理解等级:高级

两种复制方式:

同步复制(数据库原生) 异步 CDC 复制
耦合 紧耦合,副本与主库完全同步 松耦合,事件先缓冲进流再异步写入
限制 通常要求主从同类型(PostgreSQL→PostgreSQL) 可写到不同类型、多个目的地
好处 读副本分担读负载、查询结果与主库相同;故障转移无数据丢失 可同时把事件导向对象存储和流处理器
代价 — 副本略有延迟,对分析通常不是问题

读副本的典型用途:批量数据获取时在副本上跑大量扫描,避免主生产库过载;主库不可用时应用可故障转移到副本。

CDC 不是免费的:它消耗内存、磁盘带宽、存储、CPU 和网络带宽。在生产系统开启 CDC 前,要与业务开发团队一起测试,避免运维问题;同步复制同理。

批量 CDC 的注意事项:对事务型生产系统运行大型批量查询会造成过度负载——要么只在非工作时间运行,要么使用读副本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 获取 · 查看原书依据

      在生产系统上开启变更数据捕获之前,数据工程师应该与业务开发团队合作进行测试,以避免出现操作问题。

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.5.2 变更数据捕获(变更数据捕获和数据库的备份;变更数据捕获的考虑因素)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.5.2节对比数据库原生同步复制与异步CDC复制的耦合度、限制和用途,说明读副本承载批量扫描与故障转移,并提醒CDC消耗数据库资源、需与业务团队测试后再在生产开启。 - 原始内容:在生产系统上开启变更数据捕获之前,数据工程师应该与业务开发团队合作进行测试,以避免出现操作问题。