知识卡片
标准流桥接非Java任务
Hadoop Streaming 用 Java 包装进程启动外部可执行程序,把输入记录送进其标准输入,再读取标准输出作为任务结果。于是脚本或其他语言只需遵守输入输出约定,就能充当 Mapper 或 Reducer。文本用分隔符,二进制记录可用长度前缀编码;进程错误与旧版命令仍需按环境核实。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.3 Hadoop Streaming(源文件:`_epub-src/OEBPS/text00081.html`)
- 结论依据:原文说明可执行文件或脚本读取标准输入、写出标准输出,Java 侧使用 ProcessBuilder 启动并转送数据;由此得出标准流作为跨语言接口的边界。
- 原始内容:实现Hadoop Streaming的关键技术点是如何使用标准输入输出实现Java与其他可执行文件或者脚本文件之间的通信。为此,Hadoop Streaming使用了JDK中的java.lang.ProcessBuilder类