知识卡片

操作参考卡 · 1777.g

显式配置拓扑并行度

理解等级:中级

原Storm词频示例用setSpout定义句子输入,setBolt定义分词与计数,通过shuffleGrouping分散分词、fieldsGrouping按word汇聚计数,并分别设置并行度。节点数要与分组语义和资源匹配,增加计数节点也无法把单个热词自动拆开。示例API为出版时版本,配置未实际部署。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      从上面的代码可以看出,通过全局拓扑结构TopologyBuilder可以构建流式计算任务的DAG结构,通过setSpout指定Spout节点,其名称为“sentences”,RandomSentenceSpout()则是其对应的处理逻辑,而且可以指定这个计算节点的并发个数,比如上述例子的Spout并发个数是5,这个Spout的主要功能是随机生成文本内容。Storm通过setBolt设定Bolt计算节点,split计算节点的功能是将句子切割成单词,其并发个数是8,shuffleGrouping("sentences")则指出了split节点和上游的“sentences”节点的联系方式是乱序分组,即上游的5个“sentences”计算节点随机生成句子后均衡地随机分发给下游的8个“split”计算节点,以此达到负载均衡的目的。“split”节点将句子切割成单词后将同一个单词分发给固定的某个下游“count”节点来实现单词计数功能,fieldsGrouping("split",newFields("word"))指明其连接方式是定向分组,其负责分发的指定属性是“word”属性。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落67(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:从上面的代码可以看出,通过全局拓扑结构TopologyBuilder可以构建流式计算任务的DAG结构,通过setSpout指定Spout节点,其名称为“sentences”,RandomSentenceSpout()则是其对应的处理逻辑,而且可以指定这个计算节点的并发个数,比如上述例子的Spout并发个数是5,这个Spout的主要功能是随机生成文本内容。Storm通过setBolt设定Bolt计算节点,split计算节点的功能是将句子切割成单词,其并发个数是8,shuffleGrouping("sentences")则指出了split节点和上游的“sentences”节点的联系方式是乱序分组,即上游的5个“sentences”计算节点随机生成句子后均衡地随机分发给下游的8个“split”计算节点,以此达到负载均衡的目的。“split”节点将句子切割成单词后将同一个单词分发给固定的某个下游“count”节点来实现单词计数功能,fieldsGrouping("split",newFields("word"))指明其连接方式是定向分组,其负责分发的指定属性是“word”属性。