原书出处
大数据日知录_架构与算法
12 流式计算
从上面的代码可以看出,通过全局拓扑结构TopologyBuilder可以构建流式计算任务的DAG结构,通过setSpout指定Spout节点,其名称为“sentences”,RandomSentenceSpout()则是其对应的处理逻辑,而且可以指定这个计算节点的并发个数,比如上述例子的Spout并发个数是5,这个Spout的主要功能是随机生成文本内容。Storm通过setBolt设定Bolt计算节点,split计算节点的功能是将句子切割成单词,其并发个数是8,shuffleGrouping("sentences")则指出了split节点和上游的“sentences”节点的联系方式是乱序分组,即上游的5个“sentences”计算节点随机生成句子后均衡地随机分发给下游的8个“split”计算节点,以此达到负载均衡的目的。“split”节点将句子切割成单词后将同一个单词分发给固定的某个下游“count”节点来实现单词计数功能,fieldsGrouping("split",newFields("word"))指明其连接方式是定向分组,其负责分发的指定属性是“word”属性。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d