知识卡片

普通读书笔记卡 · 7176.n · 生成模型:Tencent Hunyuan Hy

基于binlog的实时同步解耦

理解等级:高级

Sqoop只解决离线全量同步;实时索引更新、数据迁移与统计等场景需要实时拿到每一次变更。最直觉的做法是在数据变更时把信息发布到ActiveMQ的topic,订阅方近乎实时获取变更,代价是要加入消息发布流程、对业务有侵入性。原文给出更解耦的方案:像MySQL这类主从之间通过Binary log同步的数据库,可以模拟主从交互协议,把解析器伪装成Slave向Master发dump请求,解析出变更对象后发布到ActiveMQ供订阅。这样同步与业务彻底解耦,无需改发布逻辑。取舍在于日志解析实现复杂、要跟住主库协议与格式变更,换来的是零侵入与变更的完整性、顺序性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 数据分析 5.4 数据同步 · 查看原书依据

      而对于像MySQL这样,Master与Slave之间通过Binary log来进行数据同步的数据库,可以通过模拟MySQL Master与Slave之间的交互协议,通过解析Binary log的方式,来进行数据的同步,这样便能够让数据同步任务与在线业务系统解耦。

    参考来源

    - 位置:《大型分布式网站架构设计与实践》第5章《5.4 数据同步》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_004.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `f7d236150882ce195547192ebe70ee9968add7b50b93184ad4b9fbf59fc7ea0b`) - 结论依据:原文『通过解析Binary log的方式,来进行数据的同步,这样便能够让数据同步任务与在线业务系统解耦』直接点明解耦结论,同段『对原有系统有一定的侵入性』给出被替代方案的代价。 - 原始内容:而对于像MySQL这样,Master与Slave之间通过Binary log来进行数据同步的数据库,可以通过模拟MySQL Master与Slave之间的交互协议,通过解析Binary log的方式,来进行数据的同步,这样便能够让数据同步任务与在线业务系统解耦。