此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
配置克隆隔离
多个组件需要同一份配置时,直觉是把SparkConf设成全局变量或传引用,但这会引入并发访问。即便底层用线程安全的ConcurrentHashMap,并发依然有性能损失,而且一处修改会影响所有持有者。Spark的做法是让SparkConf实现克隆,需要时各自复制一份。配置对象按值传递,比共享可变引用更安全,代价是多一份内存。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00034.html)
- 结论依据:原文说明同一SparkConf需被多个组件共用时,作为全局变量或参数传递会引入并发问题,虽然底层是线程安全的ConcurrentHashMap,但并发即有性能损失;SparkConf实现clone方法,可在需要处克隆使用。
- 原始内容:我们往往首先想到的方法是将SparkConf实例定义为全局变量或者通过参数传递给其他组件,但是这会引入并发问题。……SparkConf继承了Cloneable特质并实现了clone方法