知识卡片
数据本地性
Map 任务尽量在数据块所在的节点上运行,直接对本地数据运算,而不是把数据块通过网络拉到别处计算。原因是集群规模达到上千节点后,网络传输往往比 CPU 更早成为瓶颈,移动计算比移动数据更划算。调度策略因此必须尊重数据位置,节点计算能力饱和时才退而求其次。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html)
- 结论依据:原文说明Map函数在本地节点上对数据分块运算;第11章HDFS设计原则“移动计算比移动数据更划算”:集群规模达数以千计时受限于网络传输,将计算请求移到离数据最近的节点处理可提升整体效能(该原则原文位于第11章,本卡以第12章Map本地运算为证据)。
- 原始内容:(2)在各个节点运行Map函数,Map函数的作用是在本地节点上对数据分块进行运算,生成类似于<key,value>的数据集合