知识卡片
最大时间水位不能覆盖全部变更
按目标已见的最大业务时间,只抽取更大时间的数据,可能漏掉迟到记录、相同时间戳的另一行,以及旧记录更新或删除。本章给出的是简化增量思路,读者推导需要先检查时间字段的真实语义、精度与变更方式。不能把一个max时间直接当作所有业务数据已完整同步的证明。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量(offset)实现数据增量抽取的目的。 2.数据转换 数据仓库一般分为ODS和DW两部分,通常的做法是首先从业务系统到ODS做数据清洗,将脏数据和不完整数据过滤掉,再从ODS到DW的过程中做数据转换,对一
参考来源
- 位置:《程序员的底层思维》第15章《数据思维》(来源项目book-sources,`extracted/程序员的底层思维/_epub-src/Cheng Xu Yuan De Di Ceng Si Wei_split_020.html`)。
- 结论依据:原文从“大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量”展开,与本卡的“按目标已见的最大业务时间,只抽取更大时间的数据,可能漏掉迟到记录、相同时间戳的另一行,以及旧记录更新或删除”对应;正文额外解释的限制、反例或外部校正均不冒充原书保证。
- 原始内容:大于这个最大时间的增量记录。利用业务系统的时间戳,通过数据偏移量(offset)实现数据增量抽取的目的。 2.数据转换 数据仓库一般分为ODS和DW两部分,通常的做法是首先从业务系统到ODS做数据清洗,将脏数据和不完整数据过滤掉,再从ODS到DW的过程中做数据转换,对一