知识卡片
并行度塑造物理执行
内容
并行度决定算子切成多少子任务,重分布决定数据如何在子任务间迁移。发散:并行不是免费加速,网络交换和数据倾斜会把收益吃掉。
参考来源
- 位置:《Flink原理与实践》第4章《DataStream API的介绍和使用》(源文件:_epub-src/OEBPS/Text/chapter07.xhtml)
- 结论依据:原文围绕“算子的并行度为2,那么它有两个子任务”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:被并行切分为一到多个算子子任务,每个算子子任务处理一部分数据,各个算子并行地在多个子任务上执行。假如算子的并行度为2,那么它有两个子任务。 并行度可以在一个Flink作业的执行环境层面统一设置,这样将影响该作业所有算子并行度,也可以对某个算子单独设置其并行度。如果不进行任何设置,默认情况下,一个作业……