知识卡片
流与其他数据结合
三种结合方式:
传统表连接:流写入一张或两张表,直接在数据库中连接这些表。
丰富(enrichment):把流与其他数据结合,向另一个流提供增强数据。例子:在线零售商从合作伙伴收到含产品 ID 和用户 ID 的事件流,事件被送入云端无服务器函数,在内存数据库(缓存)中查找产品详情和用户人口统计信息,加到事件上,输出到另一个流。用于增强的数据可以来自云数仓、RDBMS 表或对象存储文件——只需从源读取并存放在适合流查询的地方。
流对流连接:例如把网站事件流与广告平台的流数据结合。复杂之处在于两条流的到达延迟可能明显不同:广告平台数据可能延迟 5 分钟;会话关闭事件或手机离线时发生的事件,要等用户回到网络范围内才出现在流中。
典型架构依赖流缓存:先对每条流做缓存,保留时间可配置(越长需要越多存储和资源);事件与缓存中的数据做连接,在保留时间内找到相关事件就连接,事件保留在缓存中直到过期。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 查询、建模和转换 · 查看原书依据
因此,典型的流数据连接架构依赖于流的缓存。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.1.5 流数据上的查询(将数据流与其他数据结合起来)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources)
- 结论依据:8.1.5节介绍流数据与其他数据结合的三种方式:表连接、借助缓存的流数据丰富,以及因到达延迟差异而依赖可配置保留期缓存的流对流连接。
- 原始内容:因此,典型的流数据连接架构依赖于流的缓存。