知识卡片
小文件合并减轻批处理负担
大量小文件会让批量框架难以发挥连续处理大数据块的优势。本书建议把合适的文件整理成序列文件再处理。采用前仍要保持记录边界、来源与恢复能力,不能为了合并而丢掉可追溯信息或假设所有文件类型都能无成本拼接。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.1.1 Hadoop技术框架 · 查看原书依据
同时,MapReduce更适合对大数据文件的处理,而不适合对海量小文件的处理。因此,当要处理海量的用户文档、图片、数据文件时,应当将其整合成一个大文件(序列文件),然后交给MapReduce处理。唯有这样才能充分发挥MapReduce的性能。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.1.1 Hadoop技术框架”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter143.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:大量小文件会让批量框架难以发挥连续处理大数据块的优势。其余范围限定用于避免超出书内证据。
- 原始内容:同时,MapReduce更适合对大数据文件的处理,而不适合对海量小文件的处理。因此,当要处理海量的用户文档、图片、数据文件时,应当将其整合成一个大文件(序列文件),然后交给MapReduce处理。唯有这样才能充分发挥MapReduce的性能。