知识卡片

普通读书笔记卡 · 2720.e

四队列可重放

理解等级:未标注

用 Redis 做任务队列可能因网络抖动丢任务,多数业务只需尽量不丢,追求 100% 不丢代价极高。可拆成四个队列:等待队列放待处理任务;取出后进本地处理队列,成功才移除,崩溃后可恢复;超过重试次数进失败队列等人工处理;入队时同时写镜像备份队列,业务逻辑出错时可重放数据修复。重点从防止丢失转向丢了能兜住。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《亿级流量网站架构核心技术》第15章《队列术》"15.9.1 简介""15.9.6 EventQueue"(源文件:_epub-src/EPUB/text00001.html,navPoint playOrder 268、273) - 结论依据:原文说明"我们使用Redis List数据结构来存储任务,并分为等待队列、本地处理队列、失败队列、备份队列……备份队列也叫作镜像队列,当遇到问题时,可以进行任务回放……使用Redis会存在丢任务的风险,要根据实际业务来决定是否允许丢任务,实际上大多数业务只要保证尽量不丢即可,不需要保证百分之百不丢,实现百分之百不丢是非常难的。保证业务逻辑一定是正确的更重要,一旦业务逻辑写错了,就要想办法进行数据回滚,此时备份队列的数据就很有作用了",直接支撑本卡片结论。版本语境:本书为 2017 年前后的实现,迁移前以当前官方文档与压测复核。 - 原始内容:我们使用Redis List数据结构来存储任务,并分为等待队列、本地处理队列、失败队列、备份队列……使用Redis会存在丢任务的风险,要根据实际业务来决定是否允许丢任务,实际上大多数业务只要保证尽量不丢即可,不需要保证百分之百不丢,实现百分之百不丢是非常难的。保证业务逻辑一定是正确的更重要,一旦业务逻辑写错了,就要想办法进行数据回滚,此时备份队列的数据就很有作用了