知识卡片
广播与累加器的共享边界
分布式任务拿到的普通变量是副本,在任务内修改不会自动同步回 Driver。广播变量解决“同一份只读数据反复发给任务”的问题:向各 Executor 分发并复用副本。累加器解决反方向的受限汇总:各任务更新计数,Driver 读取合并结果。两者分别支持一对多只读分发与多对一聚合,均不能当作可任意读写的共享内存。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》11.2.3 共享变量(源文件:`_epub-src/OEBPS/text00088.html`)
- 结论依据:原文说明普通变量通过副本传播且写入不全局同步,广播变量在 Executor 保存只读副本,累加器合并各任务的更新;由此提炼两种受限共享方向。
- 原始内容:但所有针对这些变量的写操作只会更新到本地,不会分布式同步更新(代价太高)。Spark提供了两种受限的共享变量:广播变量和累加器。