知识卡片

算子链是部署优化

专业/工作 · 500.b.1.c

内容

算子链(机制见[[算子链减少交换]])把相邻算子放在同一任务中执行,减少序列化和网络开销;需要隔离、调试或调整资源时可以关闭或断链。发散:默认优化适合多数场景,但不是所有边界都该被合并。

参考来源

- 位置:《Flink原理与实践》第9章《Flink的部署和配置》(源文件:_epub-src/OEBPS/Text/chapter12.xhtml) - 结论依据:原文围绕“默认开启了算子链”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:ce到Sink的整个Pipeline。图9-7中Source和FlatMap两个算子被放在一起是因为默认开启了算子链。 图9-7 默认情况下,槽位共享使得整个算子的Pipeline可以放在一个Slot中执行 跟算子链一样,过多的计算任务集中在一个Slot,有可能导致该Slot的负载过大。每个算子都有……