知识卡片
离线分区采用事件时间
把流事件写入按时间划分的离线分区时,分区键通常应取事件发生时间,而非搬运程序收到事件的时间。延迟到达的事件可能属于更早的业务时间段;若按接收时间分区,历史统计就会偏离事件语义。可在入库前把事件时间写入传输头,再由写入端据此选分区,同时明确缺失或异常时间戳的处理策略。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第9章9.4.1《存储》(源文件:_epub-src/OEBPS/Text/chapter157.xhtml)
- 结论依据:原文直接区分事件发生时间与 Flume 接收时间,并用时间戳拦截器把前者写入头部供分区使用。
- 原始内容:大多数情况下,我们需要使用事件发生的时间而不是Flume接收到事件的时间作为分区时间依据,所以我们需要自行定义一个时间戳拦截器将事件时间写入事件头部。