原书出处
大数据日知录_架构与算法
12 流式计算
定向分组(Field Grouping)从体系结构上与乱序分组类似,不同点在于上下游计算节点分发数据的模式,定向分组的上游节点在分发数据时,往往根据数据的某个属性(比如主键)进行哈希计算,保证同一属性内容的数据被固定分发到下游的某个计算节点。这种结构对流式计算中类似于数据累加和Join等类型的操作是必需的,因为如果要累加某个Key的数值,不论上游哪个节点输出,都应该路由到同一个下游节点进行累加才能保证数据的正确性。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html
EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d