返回主题:引擎运行时与状态管理

知识卡片

普通读书笔记卡 · 3111.c.1

作业依赖推动调度升级

理解等级:中级

简单ETL任务可由crontab按时间触发。作业增多后,并行、前后依赖、失败告警和重试要求会让脚本维护与运行监控变复杂。

复杂场景可采用能表达依赖并监管运行状态的调度系统;迁移标准是作业关系与故障处理需求,而不是作业数量的单一阈值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第9章9.5节“ETL作业调度”(源文件:OEBPS/Text/chapter014.xhtml;crontab示例:OEBPS/Images/400_1.jpg) - 结论依据:正文对比crontab的简单定时与复杂场景中的并行、依赖、监控、告警和重试要求,并举Oozie、Azkaban为当时示例。 - 原始内容:有些作业需要并行执行,有些作业需要前后依赖执行,需要编写大量的脚本控制各个作业的执行流程,需要工程师投入大量的精力维护这些脚本,作业的监控管理也非常不方便。