知识卡片

普通读书笔记卡 · 3103.a

Spark输出操作触发转换执行

理解等级:中级

DStream 的转换操作描述数据如何被映射、过滤或聚合;输出操作把结果写向控制台、文件或数据库,并触发此前定义的转换执行。因此只写转换链并不足以产生外部结果,还需明确输出边界。排查“作业已定义却没有结果”时,应先检查是否配置了输出操作,以及输出是否真正触发。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.2.2《流的描述》(源文件:_epub-src/OEBPS/Text/chapter100.xhtml) - 结论依据:原文区分 Transformation 和 Output Operations,并明确后者触发前者的执行。 - 原始内容:Transformation:代表Spark Streaming对DStream的处理逻辑。……由于这些操作会触发外部系统访问,所以DStream各种转化的执行实际上由这些操作触发。