知识卡片

结构图卡 · 1783.c.1.a.1

Beam四大核心抽象与Runner的引擎解耦机制

理解等级:未标注

Beam SDK 用 Pipeline 描述输入、变换和输出;PCollection 表示有限或无限的数据集,Transform 描述处理步骤,Source/Sink 封装外部读写。Runner 将同一套处理描述交给不同执行引擎运行,降低迁移时重写业务逻辑的成本。跨引擎复用是设计目标,实际迁移仍须核对目标 Runner 对所用变换、数据源和执行语义的支持。

结构图:

flowchart TB
  A["Beam SDK(与引擎无关)"]
  A --> P["Pipeline(处理逻辑入口)"]
  A --> C["PCollection(有限/无限数据集统一抽象)"]
  A --> T["Transform(处理步骤)"]
  A --> IO["IO Source/Sink(外部系统读写)"]
  A --> R["Beam Runner(引擎适配层)"]
  R --> R1["Direct Runner(本地测试)"]
  R --> R2["Flink Runner"]
  R --> R3["Spark Runner"]
  R --> R4["Apex Runner"]
  R --> R5["Cloud Dataflow Runner"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第15章《大数据统一编程模型》之"15.2 Apache Beam基本构成"(源文件:_epub-src/OEBPS/text00119.html) - 结论依据:原文说明"Apache Beam主要由Beam SDK和Beam Runner两部分组成……Beam SDK定义了开发分布式数据处理程序业务逻辑的API,它描述的分布式数据处理任务Pipeline则交给具体的Beam Runner(执行引擎)进行计算……PCollection……在Beam中,数据集可以是有限的……也可以是无限的……随着新型计算引擎的不断涌现,Beam Runner的优势变得愈发明显。它通过一个适配层将任意计算引擎接入Beam SDK,进而使得应用层逻辑代码无需任何修改便可运行在其他计算引擎上", 直接支撑本卡关于四大抽象与Runner解耦机制的结构图。 - 原始内容:Runner是Apache Beam对后端计算引擎的抽象,目前提供了Direct、Flink、Spark、Apex以及Cloud Dataflow等计算引擎的Runner实现。