知识卡片

普通读书笔记卡 · 2698.a

数据本地性

理解等级:未标注

Map 任务尽量在数据块所在的节点上运行,直接对本地数据运算,而不是把数据块通过网络拉到别处计算。原因是集群规模达到上千节点后,网络传输往往比 CPU 更早成为瓶颈,移动计算比移动数据更划算。调度策略因此必须尊重数据位置,节点计算能力饱和时才退而求其次。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_001.html) - 结论依据:原文说明Map函数在本地节点上对数据分块运算;第11章HDFS设计原则“移动计算比移动数据更划算”:集群规模达数以千计时受限于网络传输,将计算请求移到离数据最近的节点处理可提升整体效能(该原则原文位于第11章,本卡以第12章Map本地运算为证据)。 - 原始内容:(2)在各个节点运行Map函数,Map函数的作用是在本地节点上对数据分块进行运算,生成类似于<key,value>的数据集合