知识卡片
不停机迁移四步
海量数据迁移到新架构、又不能停机时,常用四步:旧系统继续对外服务;用 canal 监听 binlog,把新增的增量数据实时同步到新库;用脚本迁移存量历史数据,并注意增量与存量的时间差,避免遗漏;新库拥有全量数据后先跑数据校验,再灰度或直接切换,同时准备回滚方案。与[[迁移靠重试与幂等]]思路一致。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第3章《分表分库》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_004.html)
- 结论依据:原文说明历史数据迁移耗时长,互联网业务停机几分钟都难接受;方案是旧架构继续运行,存量数据直接迁移,增量数据监听binlog经canal通知迁移,注意两者时间差,新库拥有全量数据后运行数据验证程序,再灰度或直接上线新代码,回滚方案同样需考虑。
- 原始内容:此数据迁移方案的基本思路为:旧架构继续运行,存量数据直接迁移,增量数据监听binlog,然后通过canal通知迁移程序迁移数据……3)注意迁移增量数据与迁移老数据的时间差,确保全部数据都被迁移过去,无任何遗漏。……4)此时新的分表分库中已经拥有全量数据了,可以运行数据验证程序,确保所有数据都存放在新数据库中。