知识卡片

普通读书笔记卡 · 2698.c

Streaming降低门槛

理解等级:未标注

Hadoop Streaming 让任何语言写的程序都能参与 MapReduce:用户用脚本或可执行文件实现 map 和 reduce,Streaming 按配置调用它们,通过标准输入输出传递数据,框架负责把输入喂给 Map、把 Map 输出交给 Reduce。接入门槛低,适合快速复用脚本;但以文本流交换数据,类型约束弱、有额外开销,不一定适合高性能核心作业。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第12章《分布式云计算》(源文件:_epub-src/OEBPS/Text/part0020_split_003.html) - 结论依据:原文说明Hadoop提供Streaming、Pipes、Pydoop编程机制,Streaming支持任何语言;用户用其他语言编写Map与Reduce脚本或可执行文件,Streaming按配置自动调用,为Map提供输入、为Reduce提供Map输出。 - 原始内容:Streaming可以支持其他任何语言……Streaming会根据配置自动调用这些过程,并在调用时为Map提供输入,为Reduce提供Map产生的输出