知识卡片
HDFS与计算贴近数据
HDFS 是 GFS 的开源实现,走无共享路线。每台普通机器运行一个守护进程暴露本地存储,中央的 NameNode 只记录哪个文件块在哪台机器上,从而把上万台机器的磁盘拼成一个文件系统;为容错,文件块会复制到多台机器。MapReduce 调度器尽量把 Mapper 放在存有输入副本的机器上运行,称为将计算放在数据附近,只需分发体积小得多的程序代码,省去通过网络搬运大量输入数据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
MapReduce调度器(图中未显示)试图在其中一台存储输入文件副本的机器上运行每个Mapper,只要该机器有足够的备用RAM和CPU资源来运行Mapper任务【26】。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"MapReduce和分布式文件系统""MapReduce作业执行"(源文件:_epub-src/ch10_split_003.html)
- 结论依据:原文说明HDFS基于无共享原则、用NameNode跟踪文件块位置,并解释MapReduce调度器把Mapper任务安排在存储对应输入副本的机器上运行以节省网络开销,直接支撑本卡片结论。
- 原始内容:HDFS基于无共享原则……名为NameNode的中央服务器会跟踪哪个文件块存储在哪台机器上……MapReduce调度器(图中未显示)试图在其中一台存储输入文件副本的机器上运行每个Mapper,只要该机器有足够的备用RAM和CPU资源来运行Mapper任务【26】。……这个原则被称为将计算放在数据附近