知识卡片

普通读书笔记卡 · 2825.a

用脚本参数跑分布式

理解等级:未标注

Mahout 的分布式算法可以不写 Java 代码,直接通过 Shell 脚本给算法入口类传参数,提交到 Hadoop 上运行;很多算法还能用参数切换为本地单机运行。这让不会编程的人也能做分布式训练,只要掌握算法的核心思想和对应参数。但前提仍是熟悉 Hadoop 的相关知识和命令,数据也要先按要求预处理,如文本需先向量化。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第5章《Mahout分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter5.xhtml) - 结论依据:原文说明Mahout分布式实现提供友好的脚本,可以不写Java代码,直接用参数传值通过Shell脚本执行算法入口类并提交到Hadoop;很多算法可通过参数选择分布式还是本地单机运行;不会Java编程的人只要掌握算法核心思想和对应参数即可使用,但前提还是需要掌握Hadoop相关知识和脚本命令。 - 原始内容:可以不用写Java代码调用它的API,直接用它提供的参数传值就可以……对于不会Java编程的人员,只要掌握了算法的核心思想和对应的参数便可以使用Mahout分布式挖掘平台。