此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
小文件重复调度开销
同样的数据量拆成许多小文件,会让书中MapReduce作业反复支付任务计划和协调的固定成本。合并为较大的文件有助于减少这些重复工作,也减少NameNode管理的文件元数据。合并服务的是输入组织与调度效率,不是改变事实内容;书中给出的块大小是示例时期的配置,不能当作所有部署的固定最优值。
与[[文件系统胜任批量]]的联系:小文件过多使顺序批量存储承担重复调度及元数据成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
每个任务都需要一些开销来计划和协调它的执行,并且因为每个小文件需要一个单独的任务,开销成本大量重复。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第5章《批处理层的数据存储:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/040.xhtml)
- 结论依据:正文给出重复任务开销,表5-1补充NameNode命名空间负担。
- 原始内容:每个任务都需要一些开销来计划和协调它的执行,并且因为每个小文件需要一个单独的任务,开销成本大量重复。