← 返回刚才阅读的位置

知识卡片

操作参考卡 · 1777.f

按状态访问选择分组

理解等级:中级

随机Shuffle适合分散独立记录,Field Grouping把相同键送到同一并行任务以维护分组状态,广播把每条数据送至所有下游。选分组先问状态是否按键局部、是否需共享完整输入;随机均匀的是分发机会而非计算成本,热键仍可能压垮单节点,广播也会放大流量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      定向分组(Field Grouping)从体系结构上与乱序分组类似,不同点在于上下游计算节点分发数据的模式,定向分组的上游节点在分发数据时,往往根据数据的某个属性(比如主键)进行哈希计算,保证同一属性内容的数据被固定分发到下游的某个计算节点。这种结构对流式计算中类似于数据累加和Join等类型的操作是必需的,因为如果要累加某个Key的数值,不论上游哪个节点输出,都应该路由到同一个下游节点进行累加才能保证数据的正确性。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落57(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:定向分组(Field Grouping)从体系结构上与乱序分组类似,不同点在于上下游计算节点分发数据的模式,定向分组的上游节点在分发数据时,往往根据数据的某个属性(比如主键)进行哈希计算,保证同一属性内容的数据被固定分发到下游的某个计算节点。这种结构对流式计算中类似于数据累加和Join等类型的操作是必需的,因为如果要累加某个Key的数值,不论上游哪个节点输出,都应该路由到同一个下游节点进行累加才能保证数据的正确性。