知识卡片

结构图卡

宽依赖划分计算阶段

理解等级:中级

RDD 的窄依赖表示一个父分区至多供一个子分区使用,可把相邻计算串成流水线;宽依赖涉及跨分区的数据重组,成为调度阶段的边界。单词统计中,分词与把词映射为 (词, 1) 属于窄依赖,按词求和的 reduceByKey 属于宽依赖。这里的“分区”是 Spark RDD 的计算分片,不能直接等同于 Kafka 主题分区。

结构图:

flowchart LR
    A[文本 RDD] -->|窄依赖| B[分词与映射]
    B -->|宽依赖:按词重组| C[按词求和]
    C --> D[后续行动或写出]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.2 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文定义窄、宽依赖及宽依赖对调度阶段的分界作用,并以单词统计的 `flatMap/map` 与 `reduceByKey` 对照。 - 原始内容:窄依赖(Narrow Dependencies)是指每个父RDD的分区都至多被一个子RDD的分区使用,而宽依赖(Wide Dependencies)是指多个子RDD的分区依赖一个父RDD的分区。图12-2中,C和D之间是窄依赖,而A和B之间是宽依赖。RDD中行动操作的执行会以宽依赖为分界来构建各个调度阶段,各个调度阶段内部的窄依赖前后链接构成流水线。