返回主题:框架与集成:Storm、Spark 与消息系统怎么接
Structured Streaming 的输出模式决定每次触发时向下游交付哪部分查询结果:Complete 输出当前完整结果表,Update 输出相比上次变动的结果,Append 只追加新结果。比如按词计数且选择 Complete,每次会再次输出已有词的当前计数;下游不能把这些记录误当成只出现一次的新词。具体模式是否适用于某个查询,还要按所用 Spark 版本和查询类型验证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.7 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文列出 Complete、Update、Append 三种输出范围,并以单词统计的 Complete 模式说明每次输出完整记录。
- 原始内容:一个流的输出有多种模式,既可以是基于整个输入执行查询后的完整结果(Complete模式),也可以选择只输出与上次查询相比的差异(Update 模式),或者就是简单地追加最新的结果(Append 模式)。