知识卡片
交换策略决定成本
内容
数据在算子子任务之间流动时会触发交换,常见策略会影响网络、负载均衡和下游语义。发散:一次 keyBy(见[[KeyBy定义聚合归属]])看似只是 API 调用,本质是在重新定义数据的物理归属。
参考来源
- 位置:《Flink原理与实践》第3章《Flink的设计与运行原理》(源文件:_epub-src/OEBPS/Text/chapter06.xhtml)
- 结论依据:原文围绕“数据交换策略”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:区或实例来描述算子子任务的概念,本书为了统一概念,尽量用算子子任务描述算子的并行切分。 3.1.3 数据交换策略 图3-3中出现了数据流动的现象,即数据在不同的算子子任务上进行数据交换。无论是Hadoop、Spark还是Flink,都会涉及数据交换策略。常见的数据交换策略有4种,如图3-4所示。 图……