知识卡片
水位与流时间:两种事件时间追踪机制
多分区并行消费时,需要机制告诉下游”早于某时间点的数据都处理完了”,窗口聚合才知道何时结算。水位:每个节点各自声明”处理到哪个事件时间了”并向下游传播,取所有输入源的最小值,能并行独立推进,是Spark/Flink的做法。流时间:消费者维护单调递增的全局值,取已处理事件里的最大事件时间,同一时刻子拓扑只处理一个事件,是Kafka Streams的轻量做法,靠”按再分区切子拓扑”换并行度。发散:两者是”分布式打卡”与”单点计时器”两种设计哲学的具体投影。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
《微服务与事件驱动架构》第6章《具有确定性的流处理》