知识卡片

结构图卡

订单冗余表的两种最终一致性方案:线上检测补偿与Canal Binlog增量同步

理解等级:未标注

针对[[订单冗余表的同步写与异步写权衡及优先级判断]]中提到的数据写入失败风险,业界有两种典型的最终一致性方案来发现并修复t_order_seller和t_order_buyer两张表之间的数据不一致,两者的核心区别在于”是否需要业务代码参与双写逻辑”。线上检测补偿:订单数据成功写入t_order_buyer表后立即把消息写入消息队列,成功写入t_order_seller表后再把相同消息也写入消息队列;消费端申明两个List集合分别接收buyer和seller的对等消息,如果单位时间内(如设定2秒的窗口期)某条消息只出现在其中一个List里、未出现在另一个,就判定数据已经不一致,需要执行补偿操作;需要注意消费延迟(如网络原因导致的消息晚到)不等于真正的数据不一致,因此补偿前必须先执行幂等判断,避免误判和重复补偿。这个方案实现难度较高,但能有效缩短数据不一致的窗口期。Canal Binlog增量同步:借助阿里开源的Canal中间件,让它把自己伪装成MySQL的Slave节点,向Master发送dump请求获取Binlog推送,再解析Binlog对象完成数据的增量同步;采用这个方案后,可以直接从业务代码中去除订单表的双写逻辑——订单服务只需成功写入t_order_buyer表,后续同步到t_order_seller表的工作完全交给Canal根据Binlog位点增量完成,业务代码不再需要关心第二张表的写入。这两种方案的本质区别是:线上检测补偿仍然保留双写逻辑在业务代码里、只是额外增加一层异步的比对纠错机制;Canal方案则彻底把”保证两张表一致”这个职责从业务代码中剥离出去、交给一个独立的、基于数据库原生Binlog机制运作的组件负责,业务代码回归到只需要写一次的简单逻辑。

结构图:

flowchart LR
    subgraph 线上检测补偿
    A1[写入t_order_buyer] --> B1[消息1写入MQ]
    A2[写入t_order_seller] --> B2[消息2写入MQ]
    B1 --> C1[消费端比对buyer/seller消息列表]
    B2 --> C1
    C1 -->|窗口期内缺失一方| D1[执行数据补偿]
    end
    subgraph Canal Binlog增量同步
    E[只写入t_order_buyer] --> F[Canal伪装为Slave读取Binlog]
    F --> G[解析Binlog增量同步到t_order_seller]
    end
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第5章《星罗棋布——分库分表方案》"5.4.2 数据最终一致性方案"节(源文件:OEBPS/Text/0010.xhtml) - 结论依据:原文说明线上检测补偿"当订单数据成功写入t_order_buyer 表后,立即将消息写入到消息队列中,成功写入 t_order_seller 表后,再把相同的消息也写入到消息队列中,消费端消费到第 1 条消息后,如果在单位时间内没有消费到第 2 条消息,就可以认为数据已经产生了不一致",并说明Canal方案"可以从业务代码中去除订单表的双写逻辑,当成功写入t_order_buyer 表后,再由Canal 来负责根据当前数据库实例的Binlog 位点增量同步订单数据到t_order_seller表中",直接支撑本卡片结构。 - 原始内容:消费端消费到第 1 条消息后,如果在单位时间内没有消费到第 2 条消息,就可以认为数据已经产生了不一致,需要执行数据补偿操作……可以从业务代码中去除订单表的双写逻辑,当成功写入t_order_buyer 表后,再由Canal 来负责根据当前数据库实例的Binlog 位点增量同步订单数据到t_order_seller表中。