原书出处
大数据日知录_架构与算法
04 集群资源管理与调度
在资源管理与调度语境下,有3种类型的数据局部性:节点局部性(Node Locality)、机架局部性(Rack Locality)和全局局部性(Global Locality)。所谓节点局部性,是指可以将计算任务分配到数据所在的机器节点,这是数据局部性最优的一种情形,因为完成计算无须任何数据传输。机架局部性指的是虽然计算任务和所需数据分属两个不同的计算节点,但是这两个节点在同一个机架中,这也是效率较高的一种数据局部性,因为机架内机器节点间网络传输速度要明显高于机架间网络传输速度。其他的情况则属于全局局部性,此时需要跨机架进行网络传输,会产生较大的网络传输开销。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00009.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d