知识卡片
联邦查询与数据共享
流式系统:理解流式数据服务要先明白发散指标(emitted metric),它与传统查询不同。运营分析数据库越来越重要,它能查询大范围历史数据也能查询最新数据,必须把 OLAP 特点与流处理结合。
联邦查询从数据湖、RDBMS、数仓等多个源拉取数据,分布式查询虚拟引擎在服务时无需解决 OLAP 中心化数据带来的问题(Trino、Presto、Starburst)。 - 挑战:终端用户会用它查询 OLTP、OLAP、API、文件系统等不同系统,要考虑每条路径的使用模式和细微差别;若接触生产源系统,必须保证不消耗过多源系统资源; - 适用:需要分析灵活性,或源数据处于严格控制之下时。它能做点对点的探索性分析,混合多系统数据又避开搭建管道或 ETL 的复杂性;还能帮你做选型决策——联邦查询能否满足眼前需求,还是需要把数据都获取并集中到 OLAP 或数据湖; - 只读访问:适合不想提供文件、数据库权限或数据转储的场景,终端用户只读取所需版本的数据,是访问权限和监管严苛条件下的优秀选项。
数据共享:这里特指通过云上大规模多租户存储系统共享。它通常把数据服务转化为安全和访问控制问题,查询由数据消费方(分析师、数据科学家)而非发布数据的工程师处理。无论是组织内数据网格、对公众还是对合作伙伴,都是引人注目的服务模式,Snowflake、Redshift、BigQuery 都支持公司之间安全共享数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 为分析、机器学习和反向ETL提供数据服务 · 查看原书依据
如果联邦查询需要接触生产环境的源系统,则一定要保证联邦查询不会消耗过多的源系统资源。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第09章《第9章 为分析、机器学习和反向ETL提供数据服务》9.5.3 流式系统;9.5.4 联邦查询;9.5.5 数据共享(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0015.xhtml,来源项目 book-sources)
- 结论依据:9.5.3节说明流式数据服务的发散指标与运营分析数据库;9.5.4节介绍联邦查询的挑战、对生产源系统的资源保护、适用场景和只读优势;9.5.5节说明云数据共享把数据服务变成安全与访问控制问题。
- 原始内容:如果联邦查询需要接触生产环境的源系统,则一定要保证联邦查询不会消耗过多的源系统资源。