知识卡片

普通读书笔记卡

RDD遇行动才计算

理解等级:中级

RDD 是分布式数据及其计算的抽象。flatMap、map 一类转换会生成新的 RDD 并记录依赖,暂时不算出结果;take、写出结果等行动才触发所需转换的计算。以单词统计为例,读取文本后分词并映射为 (词, 1),再按词聚合;若只定义这些转换而没有行动,不能把它当成已经产出统计结果。Spark 会利用 RDD 的依赖谱系按需计算,也可据此重算丢失的分区。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.1–12.2 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:12.1 节用单词统计串起读取、分词和聚合;12.2 节定义转换、行动及惰性计算,并说明依赖谱系可用于恢复。 - 原始内容:虽然可以在任何时候定义新的RDD,但Spark只会惰性计算这些RDD。它们只有第一次在一个行动操作中用到时才会真正计算。