知识卡片
作业依赖推动调度升级
简单ETL任务可由crontab按时间触发。作业增多后,并行、前后依赖、失败告警和重试要求会让脚本维护与运行监控变复杂。
复杂场景可采用能表达依赖并监管运行状态的调度系统;迁移标准是作业关系与故障处理需求,而不是作业数量的单一阈值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.5节“ETL作业调度”(源文件:OEBPS/Text/chapter014.xhtml;crontab示例:OEBPS/Images/400_1.jpg)
- 结论依据:正文对比crontab的简单定时与复杂场景中的并行、依赖、监控、告警和重试要求,并举Oozie、Azkaban为当时示例。
- 原始内容:有些作业需要并行执行,有些作业需要前后依赖执行,需要编写大量的脚本控制各个作业的执行流程,需要工程师投入大量的精力维护这些脚本,作业的监控管理也非常不方便。