← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.10.d

四种时间要分开记

理解等级:初级

时间是所有数据获取的基本考虑,在流处理中更关键也更微妙,因为数据被视为连续的,并期望生成后很快被使用。

四种时间: - 事件时间:事件在源系统中产生的时刻(原始事件自带的时间戳)。之后到被下游获取和处理之间,存在不确定的时间滞后; - 获取时间:事件从源系统进入消息队列、缓存、内存、对象存储、数据库等存储位置的时刻。获取后可能立即处理,也可能几分钟、几小时、几天后处理,或者无限期存着; - 处理时间:数据被处理(通常是转换)的时刻; - 处理时长:处理数据所花的时间。

做法:事件经过的每个阶段都要记录时间戳(创建、获取、处理),最好自动记录;沿数据工作流设置监控,捕获这些时间,从而准确追踪数据在管道中的移动。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.2.11 时间类型(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources) - 结论依据:5.2.11节区分事件时间、获取时间、处理时间和处理时长,要求在每个阶段自动记录时间戳并设置监控来跟踪数据移动。 - 原始内容:事件经过的每个阶段的时间戳都需要被记录。