知识卡片

普通读书笔记卡 · 3122.d.2.a

增量抽取需检查列水位

理解等级:中级

书中Sqoop增量导入涉及三个配置:

  • --incremental选择append或lastmodified。
  • --check-column指定检查列。
  • --last-value标记上次导入位置。

能否补齐数据取决于检查列可靠推进、水位得到保存与更新;只把命令改成“增量”不足以保证无漏数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第9章9.4.2节“将MySQL表数据导入Hive表”(源文件:OEBPS/Text/chapter014.xhtml;示例截图:OEBPS/Images/399_1.jpg) - 结论依据:正文解释增量模式、检查列与上次值三个参数,并以`order_id`大于10000为示例;水位可靠性是由这些参数职责推出的设计检查点。 - 原始内容:·--last-value:设置已经导入的数据中“--check-column”参数指定的检查列的最大值。