知识卡片

普通读书笔记卡 · 1776.c.4

输入就绪再调度图节点

理解等级:中级

Dryad执行节点需等待所需输入可用,再结合数据位置和资源调度。Worker故障后可重启相关计算,恢复多少上游取决于中间结果是否还可读;历史架构中JM故障影响整个作业。DAG突破两阶段约束,却仍需要显式考虑物化与重算成本。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 大规模批处理系统 · 查看原书依据

      当DAG图中某个图节点所有输入数据准备齐全后,JM即可调度使得这个工作机上的图节点程序开始运行,在调度过程中,还会考虑数据局部性,将计算尽可能分配到存储数据的节点,以此增加运行效率。如此这般,DAG图中的图节点依次或者并行执行,直到所有节点执行结束,将执行结果文件合并后即可输出最终结果。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落128(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:当DAG图中某个图节点所有输入数据准备齐全后,JM即可调度使得这个工作机上的图节点程序开始运行,在调度过程中,还会考虑数据局部性,将计算尽可能分配到存储数据的节点,以此增加运行效率。如此这般,DAG图中的图节点依次或者并行执行,直到所有节点执行结束,将执行结果文件合并后即可输出最终结果。