知识卡片

专业/工作

协同分区是有状态联结的前提

理解等级:未标注

要对两个事件流做联结(如按用户ID关联用户行为流和用户资料流),前提是两个流必须协同分区——分区数相同、用同一套分区算法,同一个键在两个流里总落在编号相同的分区。这样负责某个分区号的消费者实例才能同时拿到两个流里这个键的全部数据,在本地完成联结,不需要跨实例查询或全网络洗牌。发散:协同分区把通常需要shuffle的”联结”操作转化成纯本地计算,和数据库联结查询”两表按同一键预先分桶”的优化思路相通。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    《微服务与事件驱动架构》第5章《事件驱动处理基础》