知识卡片

普通读书笔记卡 · 1776.c.1

DAG执行层衔接表达与机器

理解等级:中级

DAG计算分为应用表达、执行引擎和物理集群三层。表达层描述节点及数据依赖,引擎把图映射到任务、机器和通道,集群提供实际执行资源。能画出DAG不表示已经解决调度、容错与资源竞争,逻辑并行度也不必等于同时占用的机器数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      Dryad是大数据批处理领域较早明确提出DAG计算范型的系统。在批处理应用环境下,DAG计算模型在表达能力方面明显强于MapReduce模型,后者基本可以被视为前者的一种特例,当然,随之也带来了学习和应用成本高的缺点。从这篇论文可以归纳出构建通用DAG计算系统的三层结构:最上层是DAG应用表达层,其重点在于表达便捷性和开发友好性;中间层是DAG执行引擎层,其负责将表达层内容转换映射为分布式任务,并管理控制这些任务运行在最底层的物理集群中。

    • 大规模批处理系统 · 查看原书依据

      中间层是DAG执行引擎层,其主要目的是将上层以特殊方式表达的DAG计算任务通过转换和映射,将其部署到下层的物理机集群中来真正运行。这层是DAG计算系统的核心部件,计算任务的调度、底层硬件的容错、数据与管理信息的传递、整个系统的管理与正常运转等都需要由这层来完成。

    参考来源

    - 位置:《大数据日知录:架构与算法》第11章《大规模批处理系统》,原文段落106(OEBPS/text00016.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:中间层是DAG执行引擎层,其主要目的是将上层以特殊方式表达的DAG计算任务通过转换和映射,将其部署到下层的物理机集群中来真正运行。这层是DAG计算系统的核心部件,计算任务的调度、底层硬件的容错、数据与管理信息的传递、整个系统的管理与正常运转等都需要由这层来完成。