知识卡片
用问号打散整点任务
大规模 Cron 要警惕惊群效应:人们习惯把每日任务配在午夜,单机没问题,但一个任务会生成数千个 MapReduce 工作进程,再加 30 个团队都这么配,同一时刻负载就会暴涨。Google 在 crontab 里加了问号“?”,表示任意值都行,由系统自选时间,把任务均匀分散开。即便如此,全球 Cron 启动量仍有尖锐峰值,因为有些任务确实必须在特定时间启动。发散:允许“时间随意”,系统才有调度空间。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第24章 分布式周期性任务系统 · 查看原书依据
每天在午夜时候运行会将crontab标记为“0 0 * * *”(也就是0分0时,月内的每一天,每个月,以及周内的每一天都会运行)。我们在这里增加了一个问号“?”,意味着任意一个值都可以接受,Cron系统可以根据需要自行选择一个时间。用户可以将任务分散在整个事件序列里(例如中的某个小时),因此可以将这些任务分散得更为均匀。 就算引入了这个改动,Cron任务带来的系统负载仍然是非常尖锐的。
参考来源
- 位置:《SRE:Google运维解密》第24章《分布式周期性任务系统》(源文件:`_epub-src/OEBPS/Text/0009_0015.xhtml`)
- 结论依据:原文描述午夜集中启动造成的惊群效应,以及在 crontab 中加入“?”让系统自选时间的扩展,并指出负载仍有峰值。
- 原始内容:我们在这里增加了一个问号“?”,意味着任意一个值都可以接受,Cron系统可以根据需要自行选择一个时间。