知识卡片
流可视为持续增长的表
Structured Streaming 把输入流在逻辑上看作持续追加新行的无边界表。程序用 DataFrame/Dataset 或 SQL 描述查询,再用触发器决定多久执行一次。这个模型让流处理沿用结构化查询的表达方式;它并不表示引擎必须把从开头至今的全部行都保存在内存。与基于 DStream 时间片 RDD 的 Spark Streaming 相比,两者的编程抽象不同,迁移时需重新检查查询和输出语义。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.7 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文定义动态表、结构化查询和触发器,并明确区分旧 DStream API 与新 DataFrame/Dataset API;不保存全量于内存是对“逻辑表”一词的边界说明。
- 原始内容:一个流的数据源从逻辑上来说就是一个不断增长的动态表格,随着时间的推移,新数据被持续不断地添加到表格的末尾。用户可以使用Dataset/DataFrame或SQL来对这个动态数据源进行实时查询。