返回主题:学习范式与泛化边界

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2776

全量与增量采集

理解等级:未标注

全量采集整体抽取一段时间的库表数据,不存在字段不一致、数据丢失等问题,但一次抽取量大、时间集中,易给数据库和集群造成压力、导致任务延误。增量采集解析数据库日志、只同步变化,可做到实时且对业务库影响小,但实现更复杂。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第7章《大数据技术开发》"7.1 数据采集"(源文件:_epub-src/OEBPS/text00085.html、text00087.html) - 结论依据:原文说明"全量采集是将业务数据库中一定时间段内的所有库、表、字段和数据全部抽取并同步……但由于需要一次性抽取的数据量大,且抽取时间集中,容易造成数据库和平台集群压力过大……增量采集是解决快速有效采集数据,同时不会对业务数据库产生大的性能影响的另一种方案""利用传统的批量抽取操作将会导致数据状态的严重滞后,从而影响分析结果",直接支撑本卡结论。 - 原始内容:全量采集是将业务数据库中一定时间段内的所有库、表、字段和数据全部抽取并同步到大数据平台中……增量采集是解决快速有效采集数据,同时不会对业务数据库产生大的性能影响的另一种方案