知识卡片

普通读书笔记卡 · 3092.a

分组是分布式流计算的核心机制

理解等级:未标注

keyBy 按分组键把流划成逻辑上独立的分区,同一键的消息进入同一分区;各分区可分配到不同计算节点,并拥有独立运行时上下文。它是并行扩展与按键维护状态的基础。逻辑分区数和物理执行单元数不必相同,实际并行能力还取决于分区键分布及资源配置。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第4章4.2.6《分组》(源文件:_epub-src/OEBPS/Text/chapter60.xhtml) - 结论依据:原文定义同键消息进入同一逻辑分区,指出各分区运行上下文独立且可分配到不同节点;并说明物理流数量取决于并行度。 - 原始内容:分组操作是实现并行流计算的最主要手段,它将流划分为不相交的分区流,分组键相同的消息被划分到相同的分区流中,各个分区流在逻辑上相互独立,具有各自独立的运行时上下文。