知识卡片
增量抽取需检查列水位
书中Sqoop增量导入涉及三个配置:
--incremental选择append或lastmodified。--check-column指定检查列。--last-value标记上次导入位置。
能否补齐数据取决于检查列可靠推进、水位得到保存与更新;只把命令改成“增量”不足以保证无漏数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第9章9.4.2节“将MySQL表数据导入Hive表”(源文件:OEBPS/Text/chapter014.xhtml;示例截图:OEBPS/Images/399_1.jpg)
- 结论依据:正文解释增量模式、检查列与上次值三个参数,并以`order_id`大于10000为示例;水位可靠性是由这些参数职责推出的设计检查点。
- 原始内容:·--last-value:设置已经导入的数据中“--check-column”参数指定的检查列的最大值。