知识卡片
事件总线解耦
事件总线把“谁产生事件”和“谁处理事件”解耦。最直接的实现是同步遍历所有监听器逐个调用,监听器一多,产生事件的线程就被拖慢。Spark的LiveListenerBus改为异步:事件先放进队列,由专门线程投递给监听器,UI等消费者能及时刷新,调度等核心路径也不被拖累。代价是事件处理有延迟,队列还可能溢出,见[[事件队列满会丢]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00045.html、_epub-src/EPUB/text00046.html)
- 结论依据:原文说明ListenerBus的postToAll遍历所有监听器并同步调用,监听器多时耗时较长;为让Spark UI即时刷新,LiveListenerBus继承SparkListenerBus,采用异步线程把事件投递给监听器。
- 原始内容:·LiveListenerBus:采用异步线程将SparkListenerEvent类型的事件投递到SparkListener类型的监听器。……整个投递事件的过程是通过方法调用实现的,所以这是一个同步调用。在监听器比较多的时候,这个过程会相对比较耗时