知识卡片
批量获取的常见模式
两种切批方式:按时间间隔(传统 ETL 数仓每天在非工作时间跑一次,提供日报);按数据量大小(从流系统转入对象存储时,按字节数或事件数切成离散块供数据湖处理)。
快照 vs 差异提取:全量快照每次抓取源系统整个当前状态,简单所以仍很普遍;差异(增量)只取上次读取以来的变化,能最小化网络流量和存储。
基于文件的导出:属于推送模式——导出和准备在源侧完成。优点是出于安全考虑不必开放后端系统直连,源系统工程师完全控制导出哪些数据、如何预处理;文件通过对象存储、SFTP、EDI、SCP 交付。
插入、更新和批大小:批处理系统在大量小批量操作下表现不佳。对列式库逐行插入会产生大量零碎小文件和对象创建操作;大量小批量就地更新更糟,会迫使数据库扫描每个现有列文件。要了解存储的更新模式:Druid、Pinot 能处理高写入率,SingleStore 能处理 OLAP+OLTP 混合负载,BigQuery 高频单行 SQL 插入表现差但走流缓冲很好。
数据迁移:可能涉及数百 TB。无论两个数据库多相似,处理模式的方式几乎总有细微差别,可先用数据样本测试发现模式问题;批量移动比逐行快,文件或对象存储是好的中间介质;最大挑战往往不是搬数据,而是把数据管道连接从旧系统迁到新系统。大型复杂迁移先调研自动化工具,再考虑自己写。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 获取
原书出处 · 1 处
- 第7章 获取 · 查看原书依据
另外,数据库迁移的最大挑战之一不是数据本身的移动,而是数据管道连接从旧系统到新系统的移动。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.3 批量获取的考虑因素(7.3.1–7.3.5)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources)
- 结论依据:7.3节介绍按时间和按大小的批量获取,快照与差异提取,基于文件导出的推送模式与安全优势,小批量插入和更新对列式库的危害,以及数据迁移中的模式差异和管道迁移挑战。
- 原始内容:另外,数据库迁移的最大挑战之一不是数据本身的移动,而是数据管道连接从旧系统到新系统的移动。