知识卡片
Spark输出操作触发转换执行
DStream 的转换操作描述数据如何被映射、过滤或聚合;输出操作把结果写向控制台、文件或数据库,并触发此前定义的转换执行。因此只写转换链并不足以产生外部结果,还需明确输出边界。排查“作业已定义却没有结果”时,应先检查是否配置了输出操作,以及输出是否真正触发。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.2.2《流的描述》(源文件:_epub-src/OEBPS/Text/chapter100.xhtml)
- 结论依据:原文区分 Transformation 和 Output Operations,并明确后者触发前者的执行。
- 原始内容:Transformation:代表Spark Streaming对DStream的处理逻辑。……由于这些操作会触发外部系统访问,所以DStream各种转化的执行实际上由这些操作触发。