知识卡片
汇聚产品的插件化同步
数据汇聚产品要做三件事:屏蔽底层工具复杂性、以可视化配置提供给用户;满足异构存储、异构数据类型的同步;打通不同时效要求下的数据。同步任务还要能与上下游形成依赖,借助统一调度构建数据作业流。产品由以下部分构成:
- 数据源管理:记录数据在哪、去哪、如何连接。数据源既可以是业务系统,也可以是为应用场景存放结果的地方,涵盖关系型、NoSQL、MPP、消息队列、文件系统和大数据组件。
- 抽取与加载程序:抽象为读取插件、写入插件和数据同步核心模块,核心模块作为传输通道处理缓冲、流控、并发和数据转换,理论上可支持任意类型数据源。非结构化数据可按文件或数据块同步;规模大且全部搬运意义不大的(如监控录像),可在传输中识别视频流、只提取关键信息写入结构化存储。
- 同步模式:离线适合时效要求低、吞吐量大的场景(过去多在夜间执行,次日出报表);实时通过读日志或订阅消费持续同步,支持断点续传。流批一体后同一任务只开发一次,执行时按资源和需求切换模式。
- 同步范围:全量(表全量或整库同步,可自动建表)与增量(新增、覆盖、更新,后两者依唯一键比对),也可以先全量再自动转增量。
- 其他特性:同步前的质量规则前置稽核(阻塞或告警)、字段级转换函数与自定义脚本、混合云和公有云下的 SASL 认证等传输加密(端到端加解密开销大,只对涉密和隐私数据划算)、内存、优先级和速率等流量控制。
结构图:
flowchart LR
SRC[(源数据源<br/>关系型 · NoSQL · MPP · MQ · 文件 · 大数据)] --> R[读取插件]
R --> CORE[数据同步核心模块<br/>缓冲 · 流控 · 并发 · 数据转换]
CORE --> W[写入插件]
W --> DST[(目标数据源)]
CHK[前置稽核<br/>质量规则阻塞/告警] -.控制是否运行.-> R
MODE[同步模式<br/>离线 · 实时 · 流批一体] -.-> CORE
RANGE[同步范围<br/>全量 · 增量 · 全量转增量] -.-> CORE
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 数据汇聚:打破企业数据孤岛 · 查看原书依据
数据同步核心模块:用于连接读取插件和写入插件,作为两者的数据传输通道,并处理缓冲、流控、并发、数据转换等核心技术问题。
参考来源
- 位置:《数据中台:让数据用起来(第2版)》第04章《第4章 数据汇聚:打破企业数据孤岛》4.2 数据汇聚产品(源文件:extracted/数据中台:让数据用起来(第2版)/_epub-src/OEBPS/Text/0023.xhtml,来源项目 book-sources)
- 结论依据:4.2节说明数据汇聚产品的目标,逐项介绍数据源管理、读取插件/写入插件/同步核心模块、离线与实时及流批一体、全量与增量同步,以及前置稽核、数据转换、传输加密、流量控制等特性。结构图依据正文描述的模块关系绘制。
- 原始内容:数据同步核心模块:用于连接读取插件和写入插件,作为两者的数据传输通道,并处理缓冲、流控、并发、数据转换等核心技术问题。