知识卡片

专业/工作

水位与流时间:两种事件时间追踪机制

理解等级:未标注

多分区并行消费时,需要机制告诉下游”早于某时间点的数据都处理完了”,窗口聚合才知道何时结算。水位:每个节点各自声明”处理到哪个事件时间了”并向下游传播,取所有输入源的最小值,能并行独立推进,是Spark/Flink的做法。流时间:消费者维护单调递增的全局值,取已处理事件里的最大事件时间,同一时刻子拓扑只处理一个事件,是Kafka Streams的轻量做法,靠”按再分区切子拓扑”换并行度。发散:两者是”分布式打卡”与”单点计时器”两种设计哲学的具体投影。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    《微服务与事件驱动架构》第6章《具有确定性的流处理》