知识卡片
局部性与等待联合取舍
节点本地、同机架、跨机架代表不同数据搬运范围,调度可尽量把计算放到数据附近。实际还要比较可用CPU内存和排队时间,本地资源不足时迁移计算或远程读取可能更快;机架内一定更快并非现代网络通用保证。局部性是成本目标,不能脱离资源与拓扑绝对化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 集群资源管理与调度 · 查看原书依据
在资源管理与调度语境下,有3种类型的数据局部性:节点局部性(Node Locality)、机架局部性(Rack Locality)和全局局部性(Global Locality)。所谓节点局部性,是指可以将计算任务分配到数据所在的机器节点,这是数据局部性最优的一种情形,因为完成计算无须任何数据传输。机架局部性指的是虽然计算任务和所需数据分属两个不同的计算节点,但是这两个节点在同一个机架中,这也是效率较高的一种数据局部性,因为机架内机器节点间网络传输速度要明显高于机架间网络传输速度。其他的情况则属于全局局部性,此时需要跨机架进行网络传输,会产生较大的网络传输开销。
参考来源
- 位置:《大数据日知录:架构与算法》第4章《集群资源管理与调度》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html)
- 结论依据:原文以“节点局部性(Node Locality)”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:在资源管理与调度语境下,有3种类型的数据局部性:节点局部性(Node Locality)、机架局部性(Rack Locality)和全局局部性(Global Locality)。所谓节点局部性,是指可以将计算任务分配到数据所在的机器节点,这是数据局部性最优的一种情形,因为完成计算无须任何数据传输。机架局部性指的是虽然计算任务和所需数据分属两个不同的计算节点,但是这两个节点在同一个机架中,这也是效率较高的一种数据局部性,因为机架内机器节点间网络传输速度要明显高于机架间网络传输速度。其他的情况则属于全局局部性,此时需要跨机架进行网络传输,会产生较大的网络传输开销。