← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5284

重试把小过载放大成崩溃

理解等级:高级

后端每任务上限 10,000 QPS,前端以 10,100 QPS 调用、失败后每秒重试:第一秒 100 QPS 被拒,叠加重试后第二秒 200,再到 300……一次成功的请求越来越少,后端真正做的有价值工作越来越少,最终崩溃。还要用错误码区分可重试与不可重试,永久错误绝不重试。发散:重试常被误当症状。为何降负载后仍难恢复,见[[崩溃后降负载到远低于崩溃点才能恢复]];多层放大见[[多层重试的指数放大效应]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第22章 处理连锁故障 · 查看原书依据

      但是这些请求本身叠加上正常的请求,后端现在会接收到 10,200 QPS —200 QPS 的请求会因为过载而失败。 4.重试的量在增加:第一秒的100 QPS,造成了第二秒的 200 QPS,造成了300 QPS。越来越少的请求能够一次成功,也就是说,后端实际进行的有价值工作越来越少。 5.如果后端任务无法处理连续增长的负载—这些请求会消耗文件描述符、内存、CPU时间等—后端任务可能会在请求压力和重试下最终崩溃。这个崩溃会将压力重新分配到其他的后端任务上,进而造成这些任务的过载。

    参考来源

    - 位置:《SRE:Google运维解密》第22章《处理连锁故障》(源文件:`_epub-src/OEBPS/Text/0009_0013.xhtml`) - 结论依据:原文用 MakeRequest 的例子推演重试如何逐秒放大过载,说明降负载未必能脱困,并要求区分可重试与不可重试错误。 - 原始内容:4.重试的量在增加:第一秒的100 QPS,造成了第二秒的 200 QPS,造成了300 QPS。越来越少的请求能够一次成功,也就是说,后端实际进行的有价值工作越来越少。