← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5303

用问号打散整点任务

理解等级:中级

大规模 Cron 要警惕惊群效应:人们习惯把每日任务配在午夜,单机没问题,但一个任务会生成数千个 MapReduce 工作进程,再加 30 个团队都这么配,同一时刻负载就会暴涨。Google 在 crontab 里加了问号“?”,表示任意值都行,由系统自选时间,把任务均匀分散开。即便如此,全球 Cron 启动量仍有尖锐峰值,因为有些任务确实必须在特定时间启动。发散:允许“时间随意”,系统才有调度空间。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第24章 分布式周期性任务系统 · 查看原书依据

      每天在午夜时候运行会将crontab标记为“0 0 * * *”(也就是0分0时,月内的每一天,每个月,以及周内的每一天都会运行)。我们在这里增加了一个问号“?”,意味着任意一个值都可以接受,Cron系统可以根据需要自行选择一个时间。用户可以将任务分散在整个事件序列里(例如中的某个小时),因此可以将这些任务分散得更为均匀。 就算引入了这个改动,Cron任务带来的系统负载仍然是非常尖锐的。

    参考来源

    - 位置:《SRE:Google运维解密》第24章《分布式周期性任务系统》(源文件:`_epub-src/OEBPS/Text/0009_0015.xhtml`) - 结论依据:原文描述午夜集中启动造成的惊群效应,以及在 crontab 中加入“?”让系统自选时间的扩展,并指出负载仍有峰值。 - 原始内容:我们在这里增加了一个问号“?”,意味着任意一个值都可以接受,Cron系统可以根据需要自行选择一个时间。