知识卡片

普通读书笔记卡 · 2698.c.1

标准流桥接非Java任务

理解等级:中级

Hadoop Streaming 用 Java 包装进程启动外部可执行程序,把输入记录送进其标准输入,再读取标准输出作为任务结果。于是脚本或其他语言只需遵守输入输出约定,就能充当 Mapper 或 Reducer。文本用分隔符,二进制记录可用长度前缀编码;进程错误与旧版命令仍需按环境核实。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第10章《批处理引擎MapReduce》10.3.3 Hadoop Streaming(源文件:`_epub-src/OEBPS/text00081.html`) - 结论依据:原文说明可执行文件或脚本读取标准输入、写出标准输出,Java 侧使用 ProcessBuilder 启动并转送数据;由此得出标准流作为跨语言接口的边界。 - 原始内容:实现Hadoop Streaming的关键技术点是如何使用标准输入输出实现Java与其他可执行文件或者脚本文件之间的通信。为此,Hadoop Streaming使用了JDK中的java.lang.ProcessBuilder类