知识卡片
执行间隔不能低于调度延迟
周期性流水线通常以低优先级批处理运行,利用高优先级任务之间的资源缝隙,成本低但启动慢、资源无保障,集群紧张时常被挤占。每天跑一次时,几小时启动延迟可以接受;提高频率后,执行间隔很快与平均启动延迟持平,再缩短只会让执行在调度器上堆积,甚至快结束的执行被下一次启动杀掉。约 20 分钟的任务,周期降到 40 分钟以下就可能重叠。根本办法是留足容量。发散:周期压太短,任务会互相踩踏。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 数据处理流水线 · 查看原书依据
请注意图25-1所示的下滑的执行时间线与调度延迟的交叉。在这个场景中,将这个需要大约20分钟完成的任务的执行周期降低到40分钟以下时可能会造成重叠执行,这可能会造成异常情况。
参考来源
- 位置:《SRE:Google运维解密》第25章《数据处理流水线》(源文件:`_epub-src/OEBPS/Text/0009_0016.xhtml`)
- 结论依据:原文说明批处理调度的低优先级特性与挤占风险,指出执行间隔受启动延迟限制,并以 20 分钟任务与 40 分钟周期为例。
- 原始内容:在这个场景中,将这个需要大约20分钟完成的任务的执行周期降低到40分钟以下时可能会造成重叠执行,这可能会造成异常情况。