知识卡片
按状态访问选择分组
随机Shuffle适合分散独立记录,Field Grouping把相同键送到同一并行任务以维护分组状态,广播把每条数据送至所有下游。选分组先问状态是否按键局部、是否需共享完整输入;随机均匀的是分发机会而非计算成本,热键仍可能压垮单节点,广播也会放大流量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
定向分组(Field Grouping)从体系结构上与乱序分组类似,不同点在于上下游计算节点分发数据的模式,定向分组的上游节点在分发数据时,往往根据数据的某个属性(比如主键)进行哈希计算,保证同一属性内容的数据被固定分发到下游的某个计算节点。这种结构对流式计算中类似于数据累加和Join等类型的操作是必需的,因为如果要累加某个Key的数值,不论上游哪个节点输出,都应该路由到同一个下游节点进行累加才能保证数据的正确性。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落57(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:定向分组(Field Grouping)从体系结构上与乱序分组类似,不同点在于上下游计算节点分发数据的模式,定向分组的上游节点在分发数据时,往往根据数据的某个属性(比如主键)进行哈希计算,保证同一属性内容的数据被固定分发到下游的某个计算节点。这种结构对流式计算中类似于数据累加和Join等类型的操作是必需的,因为如果要累加某个Key的数值,不论上游哪个节点输出,都应该路由到同一个下游节点进行累加才能保证数据的正确性。