知识卡片
全量与增量采集
全量采集整体抽取一段时间的库表数据,不存在字段不一致、数据丢失等问题,但一次抽取量大、时间集中,易给数据库和集群造成压力、导致任务延误。增量采集解析数据库日志、只同步变化,可做到实时且对业务库影响小,但实现更复杂。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第7章《大数据技术开发》"7.1 数据采集"(源文件:_epub-src/OEBPS/text00085.html、text00087.html)
- 结论依据:原文说明"全量采集是将业务数据库中一定时间段内的所有库、表、字段和数据全部抽取并同步……但由于需要一次性抽取的数据量大,且抽取时间集中,容易造成数据库和平台集群压力过大……增量采集是解决快速有效采集数据,同时不会对业务数据库产生大的性能影响的另一种方案""利用传统的批量抽取操作将会导致数据状态的严重滞后,从而影响分析结果",直接支撑本卡结论。
- 原始内容:全量采集是将业务数据库中一定时间段内的所有库、表、字段和数据全部抽取并同步到大数据平台中……增量采集是解决快速有效采集数据,同时不会对业务数据库产生大的性能影响的另一种方案