知识卡片
迁移靠重试与幂等
冷热迁移分三步:找出冷数据、写入冷库、从热库删除,任何一步都可能中断。要保证最终一致,关键是每一步都能安全重试:先给待迁移数据打上标识,把判断结果持久化;每次按标识找出所有未完成的数据,补上中途失败的部分;写冷库时已存在就跳过,保证幂等;最后删除热库数据。做法与[[幂等化解锁超时]]一致。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第1章《冷热分离》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_002.html)
- 结论依据:原文说明分离冷热数据要保证任何一步出错后数据最终一致,方案是保证每一步都可重试且操作幂等:给待迁移数据加标识ColdFlag=WaittingForMove持久化判断结果,按标识找出所有待迁移数据,冷库保存时判断已存在则不重复保存,再从热库删除。
- 原始内容:这称为“最终一致性”,即最终数据和业务实际情况是一致的。……这里的解决方案为,保证每一步都可以重试且操作都有幂等性,具体逻辑分为4步。……2)找出所有待迁移的数据(ColdFlag=WaittingForMove)。