知识卡片

普通读书笔记卡 · 2274.e.1.c.1.b.3

消费停滞会耗尽队列

理解等级:中级

原书的Redis与Celery案例中,工作者停止后请求仍不断进入,积压耗尽消息代理内存,继而丢失任务,并影响共用代理的其他服务。队列把消费失败延迟显现,却不提供无限容量。评估时要把消费恢复、积压增长与共享组件的影响连起来看,不能只确认消息暂时还能入队。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 容错和灾备 · 查看原书依据

      我们假设Celery工作线程(处理任务的线程)因为某些原因无法正常工作,它们也就无法处理任务。这种情况不一定就是单点故障,因为Redis可以在Celery工作线程恢复处理能力后进行重试。虽然Celery工作线程无法正常工作,但Redis仍然在正常运行,任务被堆积到Redis的队列里,等待Celery工作线程恢复处理能力。不过这个微服务承担了很大的流量(每秒接收几千个请求),任务队列开始膨胀,填满了整个Redis服务器。在你意识到问题之前,Redis的内存已经被耗尽,任务消息开始发生丢失。这种情况已经很糟糕了,不过比

    参考来源

    - 位置:《生产微服务》第5章《容错和灾备》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/生产微服务/_epub-src/OEBPS/text00009.html) - 结论依据:第5章围绕“任务队列开始膨胀,填满了整个Redis服务器”及相邻段落展开,本卡合并同一机制的用途、做法与约束。 - 原始内容:我们假设Celery工作线程(处理任务的线程)因为某些原因无法正常工作,它们也就无法处理任务。这种情况不一定就是单点故障,因为Redis可以在Celery工作线程恢复处理能力后进行重试。虽然Celery工作线程无法正常工作,但Redis仍然在正常运行,任务被堆积到Redis的队列里,等待Celery工作线程恢复处理能力。不过这个微服务承担了很大的流量(每秒接收几千个请求),任务队列开始膨胀,填满了整个Redis服务器。在你意识到问题之前,Redis的内存已经被耗尽,任务消息开始发生丢失。这种情况已经很糟糕了,不过比