知识卡片

普通读书笔记卡 · 1785.a.2

小文件重复调度开销

理解等级:中级

同样的数据量拆成许多小文件,会让书中MapReduce作业反复支付任务计划和协调的固定成本。合并为较大的文件有助于减少这些重复工作,也减少NameNode管理的文件元数据。合并服务的是输入组织与调度效率,不是改变事实内容;书中给出的块大小是示例时期的配置,不能当作所有部署的固定最优值。

与[[文件系统胜任批量]]的联系:小文件过多使顺序批量存储承担重复调度及元数据成本。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      每个任务都需要一些开销来计划和协调它的执行,并且因为每个小文件需要一个单独的任务,开销成本大量重复。

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第5章《批处理层的数据存储:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/040.xhtml) - 结论依据:正文给出重复任务开销,表5-1补充NameNode命名空间负担。 - 原始内容:每个任务都需要一些开销来计划和协调它的执行,并且因为每个小文件需要一个单独的任务,开销成本大量重复。