知识卡片

普通读书笔记卡 · 2852.f.1.e

单作业分流异构输入输出

理解等级:中级

一个批处理作业若要同时处理不同格式或使用不同 Mapper 的来源,可为各输入路径分别指定解析方式;若结果要按类型写到不同目录,可按名称选择输出格式与路径。这样保留同一作业的共享调度和处理链,同时把格式差异限制在各自的入口与出口。书中示例是旧版 API,用法需按目标环境复核。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 多路输入/输出(源文件:`_epub-src/OEBPS/text00081.html`) - 结论依据:原文给出文本与 SequenceFile 两路输入、even/odd 两路输出,分别由 MultipleInputs 和 MultipleOutputs 配置,说明格式差异可在同一作业内分流。 - 原始内容:多路输入/输出是将多种存储格式或者计算逻辑放到一种MapReduce作业中完成的手段,通常用于以下两种情况: ·作业的输入/输出中包含多种不同格式的数据源,比如既有文本文件,也有key/value格式文件。