知识卡片

并行度塑造物理执行

专业/工作 · 500.b.5

内容

并行度决定算子切成多少子任务,重分布决定数据如何在子任务间迁移。发散:并行不是免费加速,网络交换和数据倾斜会把收益吃掉。

参考来源

- 位置:《Flink原理与实践》第4章《DataStream API的介绍和使用》(源文件:_epub-src/OEBPS/Text/chapter07.xhtml) - 结论依据:原文围绕“算子的并行度为2,那么它有两个子任务”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:被并行切分为一到多个算子子任务,每个算子子任务处理一部分数据,各个算子并行地在多个子任务上执行。假如算子的并行度为2,那么它有两个子任务。 并行度可以在一个Flink作业的执行环境层面统一设置,这样将影响该作业所有算子并行度,也可以对某个算子单独设置其并行度。如果不进行任何设置,默认情况下,一个作业……