← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.q.3

HDFS与计算贴近数据

理解等级:未标注

HDFS 是 GFS 的开源实现,走无共享路线。每台普通机器运行一个守护进程暴露本地存储,中央的 NameNode 只记录哪个文件块在哪台机器上,从而把上万台机器的磁盘拼成一个文件系统;为容错,文件块会复制到多台机器。MapReduce 调度器尽量把 Mapper 放在存有输入副本的机器上运行,称为将计算放在数据附近,只需分发体积小得多的程序代码,省去通过网络搬运大量输入数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第十章:批处理 · 查看原书依据

      MapReduce调度器(图中未显示)试图在其中一台存储输入文件副本的机器上运行每个Mapper,只要该机器有足够的备用RAM和CPU资源来运行Mapper任务【26】。

    参考来源

    - 位置:《数据密集型应用系统设计》第十章《批处理》"MapReduce和分布式文件系统""MapReduce作业执行"(源文件:_epub-src/ch10_split_003.html) - 结论依据:原文说明HDFS基于无共享原则、用NameNode跟踪文件块位置,并解释MapReduce调度器把Mapper任务安排在存储对应输入副本的机器上运行以节省网络开销,直接支撑本卡片结论。 - 原始内容:HDFS基于无共享原则……名为NameNode的中央服务器会跟踪哪个文件块存储在哪台机器上……MapReduce调度器(图中未显示)试图在其中一台存储输入文件副本的机器上运行每个Mapper,只要该机器有足够的备用RAM和CPU资源来运行Mapper任务【26】。……这个原则被称为将计算放在数据附近