知识卡片

普通读书笔记卡 · 2852.d

流分组决定路由

理解等级:未标注

Stream Grouping 告诉 Spout 和 Bolt 如何传递数据流,解决 Storm 扩展后的路由问题。随机分组让下游各 Task 收到的 Tuple 量基本相等,代价小、负载均衡,但上下游逻辑关系不明确;字段分组把相同字段值交给同一个 Task,上下游关系清楚。发散:分组策略就是流计算里的数据路由协议。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式架构原理与实践》第5章《分布式计算》(源文件:_epub-src/OEBPS/Text/part0000.xhtml) - 结论依据:原文说明 Stream Grouping 解决 Stream 在 Spout、Bolt 间的路由问题;随机分组负载均衡但上下游关系不明确,字段分组按字段值路由,关系明确。 - 原始内容:扩展之后,这种传递过程变得复杂起来,为了解决 Stream 的路由问题,Storm 推出了 Stream Grouping,其目的是告诉 Spout、Bolt 两个组件如何传递 Stream。……由于路由是随机选择的,因此 Tuple 在选择对应 Task 的时候代价比较小,Task 之间的负载比较均衡。