知识卡片
路由分区不等于独立分组
partitionBy只决定元组路由到哪个任务,允许该任务统一操作自己保存的多键状态。groupBy还要求按公共键分组、各组独立聚合。AnalyzeVisits既更新单个域名与用户的会话,又周期扫描该任务全部会话,因此使用路由分区而非把每个会话隔离成独立聚合。用域名加用户作分区键还可降低仅按热门域名分区的倾斜风险。
与[[按状态键路由避免竞态]]的联系:任务路由分区与每键独立聚合的处理作用域不同。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
而partitionBy只允许你指定应该如何根据处理任务来划分元组。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第17章《微批量流处理:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/122.xhtml)
- 结论依据:17.2比较partitionBy/groupBy,并说明AnalyzeVisits跨当前任务所有域/用户状态扫描。
- 原始内容:而partitionBy只允许你指定应该如何根据处理任务来划分元组。