此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
离线调度要管理作业依赖
离线作业增多后,仅按时钟启动任务,难以保证上游结果就绪,也不便追踪失败。工作流调度器需要表达任务间依赖、记录执行状态,并把执行资源纳入容量规划。书中用 Azkaban 的 WebServer、ExecutorServer 与元数据库展示这些职责;选型时应关注依赖可见性、失败追踪和单机内存限制,而非只看是否能定时触发。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第9章9.4.3《调度》(源文件:_epub-src/OEBPS/Text/chapter159.xhtml;图9-11、图9-12)
- 结论依据:原文对比 cron 的管理局限与 Azkaban 的依赖调度、状态追踪能力,并提醒执行器内存可能限制并发任务数。
- 原始内容:Azkaban是由LinkedIn为调度Hadoop作业而开发的批处理工作流调度器,它解决了调度作业之间的相互依赖问题,并提供一个简单易用的Web用户界面来管理和追踪作业的调度和执行情况。