知识卡片
双写与订阅binlog
向下游通知数据变更有两种方式。双写:同一操作里写数据库并发 MQ,简单但没有事务保证,可能事务回滚而消息已发、消息先到而数据未提交、或发消息慢拖住事务。订阅 binlog:只写数据库,由 Canal 伪装从库捕获全部变更,天然有序,业务代码不用管发消息,代价是多维护一套组件。按一致性要求选择。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《亿级流量网站架构核心技术》第15章《队列术》"15.4 消息队列"(源文件:_epub-src/EPUB/text00001.html,navPoint playOrder 262)
- 结论依据:原文说明"一般我们会在应用系统中采用双写模式,同时写DB和MQ……因为在双写模式下没有事务保证,所以会出现数据不一致的情况……如果在事务中发MQ,会存在事务回滚,但是MQ发送成功了,则需要消息消费者进行幂等处理。如果事务提交慢,但是MQ已经发出去了,则此时根据MQ信息再去获取数据库数据可能不是最新的……也可以采用订阅数据库日志机制来实现数据库变更捕获,这样生产系统只需要单写DB……这种方式可以保证一致性",直接支撑本卡片结论。版本语境:本书为 2017 年前后的实现,迁移前以当前官方文档与压测复核。
- 原始内容:因为在双写模式下没有事务保证,所以会出现数据不一致的情况,如果对一致性要求没那么严格,则这种模式是没问题的……也可以采用订阅数据库日志机制来实现数据库变更捕获,这样生产系统只需要单写DB,然后通过如Canal订阅数据库binlog实现数据库数据变更捕获,然后业务端订阅Canal进行业务处理。这种方式可以保证一致性。