知识卡片

结构图卡 · 2280.r.9.a

CDC四种增量数据捕获方案的权衡

理解等级:未标注

当只需要获取数据库”从某时刻起发生了什么变化”(增量数据)而非每次全量扫描时,业界总结出四种技术方案,权衡各不相同。定时扫描整表:周期性把整张表读一遍再比对差异,实现最简单但性能低效、延迟高,数据量越大越不可行。写双份数据:在业务代码里,每次更新数据库的同时手动再发一份变更消息,问题是业务逻辑和数据同步逻辑耦合在一起,一致性难以保证(一旦忘记加、或两次写入不是原子的,两边就会不一致),且不利于系统演化。利用触发器机制:让数据库在表变化时自动触发一段逻辑发送变更,避免了业务代码改造,但触发器管理复杂、且会对数据库主库性能产生额外压力。解析事务/提交日志(如MySQL的binlog):不改业务代码、也不使用触发器,但仍需承担日志读取、保留和消费开销;它模拟主备复制协议,从数据库天然产生的复制日志中还原出所有变更记录,这是书中列举的高效方案(阿里Canal、LinkedIn Databus均采用此思路)。这四种方案的本质分歧在于”变更捕获的位置”——日志解析减少业务代码侵入,但仍需权衡数据库日志、消费端开销与实现复杂度;离数据源越远(定时扫描全表)实现越简单,但性能和实时性代价越大。可迁移启发:设计任何”感知数据变化”的系统时,可以用这个坐标(侵入性 vs 实现复杂度 vs 实时性)去比较候选方案,而不是想当然地选”最省事”的定时轮询或”看起来最直接”的业务层双写。

结构图:

flowchart TB
  A["CDC四种方案<br/>(按捕获位置比较)"]
  A --> B["定时扫描整表<br/>实现最简单/性能低效/延迟高"]
  A --> C["业务层写双份数据<br/>无需额外组件/一致性难保证/耦合业务代码"]
  A --> D["数据库触发器<br/>无需改代码/管理烦琐/影响数据库性能"]
  A --> E["解析事务/提交日志(binlog)<br/>无需业务双写或触发器/需考虑日志和消费开销<br/>如Canal/Databus"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第2章《关系型数据的收集》之"2.4 数据增量收集CDC"(源文件:_epub-src/OEBPS/text00017.html) - 结论依据:原文说明"为了实现CDC,可选的方案有:定时扫描整表……写双份数据……利用触发器机制……以上几种方案均存在明显缺点,'定时扫描整表'性能低效,且延迟过高;'写双份数据'需要业务层修改代码,一致性难以保证,不利于系统演化;'利用触发器机制'管理烦琐,且对数据库性能影响较大。为了克服这几种方案存在的问题,基于事务或提交日志解析的方案出现了",直接支撑本卡四种方案的对比与权衡结论。 - 原始内容:这种方案通过解析数据库更新日志,还原更新的数据,能够在不对业务层代码做任何修改的前提下,高效地获取更新数据。目前常见的开源实现有阿里巴巴的Canal [1] 和LinkedIn的Databus [2]