知识卡片

普通读书笔记卡 · 499.b.1

晚到数据需要统计策略

理解等级:高级

[[固定与滑动窗口划分数据]]还需决定按哪个时间归窗:事件时间是数据发生时刻,处理时间是计算端接收并处理的时刻;网络与队列延迟会让两者拉开。

水位线用于估计事件时间进度,以便在等待与及时出结果间取舍。晚到事件是补算还是丢弃,要按统计精度和处理成本明确选择;水位线本身也不是完全准确的到齐证明。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第14章《微服务监控实战》14.1.3节“监控数据的预处理”(源文件:OEBPS/Text/chapter019.xhtml) - 结论依据:原文以订单下单与支付端取出处理为例区分发生时间、处理时间,指出晚到数据和水位线估计的不确定性,并给出允许舍弃晚到数据的精度前提;据此提出显式的晚到策略。 - 原始内容:数据的发生时间(event time)和数据处理的时间(process time)。……数据发生时间很早、而数据处理时间很晚的情况……水位线(watermark)的概念……它可以根据某些指标(比如历史数据等)推测出来(但不一定完全准确)。