知识卡片
全量增量导入边界
两种导入方式先区分源记录范围:
- 全量导入定期重抽源表全部数据,书中通常以新数据覆盖旧数据。
- 增量导入只抽取新增或最近修改的数据。
目标表如何写入是另一项决策。设计时须同时定义抽取范围与写入方式,不能把增量抽取误当成自动追加且永不覆盖。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.4.2节“将MySQL表数据导入Hive表”(源文件:OEBPS/Text/chapter014.xhtml;示例截图:OEBPS/Images/397_2.jpg、399_1.jpg)
- 结论依据:正文分别定义全量与增量抽取,并展示全量覆盖和增量示例;增量截图同时出现覆盖参数,具体写入行为须另行验证,不以示例命令为执行依据。
- 原始内容:全量导入需要定期地从关系型数据库中抽取出数据表的全部数据并导入数据仓库的表中,每次导入的新数据通常都要覆盖原表中的旧数据。增量导入需要从关系型数据库中抽取出表中的新增数据或最新修改的数据并导入数据仓库的表中。