知识卡片

普通读书笔记卡 · 2776.d

专业调度替代Crontab

理解等级:未标注

用 Crontab 加串行脚本调度大数据任务有三个缺陷:上游失败时下游仍会运行,导致结果出错;任务不能并发,拉长执行窗口;执行时间和日志难以统一管理,缺少监测告警。专业调度系统用显式工作流描述依赖,借资源管理并行执行,用元数据库记录历史并提供监控告警。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第7章《大数据技术开发》"7.5.2 调度管理"(源文件:_epub-src/OEBPS/text00097.html) - 结论依据:原文说明"目前各业务的数据任务基本都是靠Crontab定时调度,各个任务之间的依赖仅靠简单的串行来实现。由此引发的几个问题:很容易造成前面的任务未结束或者失败,后面的任务也运行起来……任务不能并发执行……任务管理和维护很不方便……缺乏及时监测和有效的告警",并给出Workflow/Resource Manager/任务元数据等模块作为应对,直接支撑本卡结论。 - 原始内容:目前各业务的数据任务基本都是靠Crontab定时调度,各个任务之间的依赖仅靠简单的串行来实现。由此引发的几个问题:很容易造成前面的任务未结束或者失败,后面的任务也运行起来,最终出现错误的分析结果;任务不能并发执行,增加任务执行的整体时间窗口