变更数据捕获的实现方式与日志压缩机制

变更数据捕获（CDC）观察写入数据库的所有变更，把它们提取转换成可以复制到其他系统的形式，本质是让被捕获的数据库成为领导者、让搜索索引等其他组件变成追随者，用[[基于日志的消息代理分区偏移量与传统代理的权衡]]传输变更事件（能保留消息顺序，避免负载均衡加重传导致的乱序）。实现路径有两条：数据库触发器（在每次变更时把记录写入变更日志表）简单但脆弱、性能开销明显；解析复制日志或WAL（如Bottled Water解码PostgreSQL WAL、Maxwell/Debezium解析MySQL binlog）更稳健，但要处理模式变更等复杂情况。CDC天生是异步的：记录数据库不会等消费者应用完变更才提交，这带来运维优势（慢消费者不会拖累记录系统），但也引入了复制延迟问题。若只保留有限历史日志，每接入一个新的衍生数据系统就得重新做一次全量快照；日志压缩提供了更省事的替代方案——只要每条变更都带主键、且同一键的新变更覆盖旧值，压缩就只保留每个键的最新更新（用特殊的墓碑值表示删除），所需磁盘空间只取决于数据库当前内容而非历史写入总量，此后任何新消费者从压缩日志的偏移量0开始扫描，就能获得数据库内容的完整副本，不必再单独取一次快照。