知识卡片
物理图承接分布式
内容
逻辑视图不能直接在多节点上运行,必须转换为物理执行图,补上并行子任务、数据交换和资源部署。发散:分布式系统的难点常出现在“抽象图”落到“机器图”的那一刻。
参考来源
- 位置:《Flink原理与实践》第3章《Flink的设计与运行原理》(源文件:_epub-src/OEBPS/Text/chapter06.xhtml)
- 结论依据:原文围绕“逻辑视图转化为物理执行图”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。
- 原始内容:成对大数据的计算。剩下那些数据交换、横向扩展、故障恢复等问题可交由大数据框架来解决。 3.1.2 从逻辑视图转化为物理执行图 在绝大多数的大数据处理场景下,一个节点无法处理所有数据,数据会被切分到多个节点上。在大数据领域,当数据量大到超过单个节点处理能力时,需要将一份数据切分到多个分区(Partit……