知识卡片

问题卡 · 1905.a.5

最大时间水位不能覆盖全部变更

理解等级:高级

按目标已见的最大业务时间,只抽取更大时间的数据,可能漏掉迟到记录、相同时间戳的另一行,以及旧记录更新或删除。本章给出的是简化增量思路,读者推导需要先检查时间字段的真实语义、精度与变更方式。不能把一个max时间直接当作所有业务数据已完整同步的证明。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量(offset)实现数据增量抽取的目的。 2.数据转换 数据仓库一般分为ODS和DW两部分,通常的做法是首先从业务系统到ODS做数据清洗,将脏数据和不完整数据过滤掉,再从ODS到DW的过程中做数据转换,对一

    参考来源

    - 位置:《程序员的底层思维》第15章《数据思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_020.html`)。 - 结论依据:原文从“大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量”展开,与本卡的“按目标已见的最大业务时间,只抽取更大时间的数据,可能漏掉迟到记录、相同时间戳的另一行,以及旧记录更新或删除”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。 - 原始内容:大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量(offset)实现数据增量抽取的目的。 2.数据转换 数据仓库一般分为ODS和DW两部分,通常的做法是首先从业务系统到ODS做数据清洗,将脏数据和不完整数据过滤掉,再从ODS到DW的过程中做数据转换,对一