知识卡片
消费停滞会耗尽队列
原书的Redis与Celery案例中,工作者停止后请求仍不断进入,积压耗尽消息代理内存,继而丢失任务,并影响共用代理的其他服务。队列把消费失败延迟显现,却不提供无限容量。评估时要把消费恢复、积压增长与共享组件的影响连起来看,不能只确认消息暂时还能入队。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 容错和灾备 · 查看原书依据
我们假设Celery工作线程(处理任务的线程)因为某些原因无法正常工作,它们也就无法处理任务。这种情况不一定就是单点故障,因为Redis可以在Celery工作线程恢复处理能力后进行重试。虽然Celery工作线程无法正常工作,但Redis仍然在正常运行,任务被堆积到Redis的队列里,等待Celery工作线程恢复处理能力。不过这个微服务承担了很大的流量(每秒接收几千个请求),任务队列开始膨胀,填满了整个Redis服务器。在你意识到问题之前,Redis的内存已经被耗尽,任务消息开始发生丢失。这种情况已经很糟糕了,不过比
参考来源
- 位置:《生产微服务》第5章《容错和灾备》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/生产微服务/_epub-src/OEBPS/text00009.html)
- 结论依据:第5章围绕“任务队列开始膨胀,填满了整个Redis服务器”及相邻段落展开,本卡合并同一机制的用途、做法与约束。
- 原始内容:我们假设Celery工作线程(处理任务的线程)因为某些原因无法正常工作,它们也就无法处理任务。这种情况不一定就是单点故障,因为Redis可以在Celery工作线程恢复处理能力后进行重试。虽然Celery工作线程无法正常工作,但Redis仍然在正常运行,任务被堆积到Redis的队列里,等待Celery工作线程恢复处理能力。不过这个微服务承担了很大的流量(每秒接收几千个请求),任务队列开始膨胀,填满了整个Redis服务器。在你意识到问题之前,Redis的内存已经被耗尽,任务消息开始发生丢失。这种情况已经很糟糕了,不过比