知识卡片
单作业分流异构输入输出
一个批处理作业若要同时处理不同格式或使用不同 Mapper 的来源,可为各输入路径分别指定解析方式;若结果要按类型写到不同目录,可按名称选择输出格式与路径。这样保留同一作业的共享调度和处理链,同时把格式差异限制在各自的入口与出口。书中示例是旧版 API,用法需按目标环境复核。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.2 多路输入/输出(源文件:`_epub-src/OEBPS/text00081.html`)
- 结论依据:原文给出文本与 SequenceFile 两路输入、even/odd 两路输出,分别由 MultipleInputs 和 MultipleOutputs 配置,说明格式差异可在同一作业内分流。
- 原始内容:多路输入/输出是将多种存储格式或者计算逻辑放到一种MapReduce作业中完成的手段,通常用于以下两种情况: ·作业的输入/输出中包含多种不同格式的数据源,比如既有文本文件,也有key/value格式文件。