知识卡片
ETL与EAI、ESB
内容
把数据从多个业务系统汇入[[数据仓库数据湖与数据集市|数据仓库]]之前,需要先做提取、转换、加工,这套流程的工具叫ETL(Extract-Transform-Load),用图形界面代替手写针对每个信息源的转换程序,代价是各系统各自独立处理,难以做到公司整体最优。EAI(企业应用集成)和ESB(企业服务总线)解决的是不同层面的问题:ETL负责的是数据库之间的批量转换,通常用于大量数据的一次性处理;EAI/ESB负责的是应用程序之间的数据交互,通常用于少量数据的实时处理,EAI侧重把多个应用集中处理,ESB侧重把分散的多个服务整合成一个新应用。三者的分工本质是”批处理 vs 实时”和”数据库层 vs 应用层”两条正交的分界线。
参考来源
《图解数据科学》第2章《数据的基础》