知识卡片

普通读书笔记卡

流可视为持续增长的表

理解等级:中级

Structured Streaming 把输入流在逻辑上看作持续追加新行的无边界表。程序用 DataFrame/Dataset 或 SQL 描述查询,再用触发器决定多久执行一次。这个模型让流处理沿用结构化查询的表达方式;它并不表示引擎必须把从开头至今的全部行都保存在内存。与基于 DStream 时间片 RDD 的 Spark Streaming 相比,两者的编程抽象不同,迁移时需重新检查查询和输出语义。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.7 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文定义动态表、结构化查询和触发器,并明确区分旧 DStream API 与新 DataFrame/Dataset API;不保存全量于内存是对“逻辑表”一词的边界说明。 - 原始内容:一个流的数据源从逻辑上来说就是一个不断增长的动态表格,随着时间的推移,新数据被持续不断地添加到表格的末尾。用户可以使用Dataset/DataFrame或SQL来对这个动态数据源进行实时查询。