知识卡片

普通读书笔记卡 · 1783.b.1.c.1

路由分区不等于独立分组

理解等级:中级

partitionBy只决定元组路由到哪个任务,允许该任务统一操作自己保存的多键状态。groupBy还要求按公共键分组、各组独立聚合。AnalyzeVisits既更新单个域名与用户的会话,又周期扫描该任务全部会话,因此使用路由分区而非把每个会话隔离成独立聚合。用域名加用户作分区键还可降低仅按热门域名分区的倾斜风险。

与[[按状态键路由避免竞态]]的联系:任务路由分区与每键独立聚合的处理作用域不同。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第17章《微批量流处理:示例》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/122.xhtml) - 结论依据:17.2比较partitionBy/groupBy,并说明AnalyzeVisits跨当前任务所有域/用户状态扫描。 - 原始内容:而partitionBy只允许你指定应该如何根据处理任务来划分元组。