返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2573.e

事件队列满会丢

理解等级:未标注

异步事件总线的队列是有界的:默认只能容纳一万个事件,可以配置。生产速度长时间超过消费速度时,队列一满,新事件就会被直接丢弃,只记录一个“发生过丢弃”的标记。依赖监听器事件的UI、事件日志和自定义监控因此可能不完整。事件量大时要监控丢弃情况、减少慢监听器,或调大队列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00047.html) - 结论依据:原文说明LiveListenerBus的eventQueue是有界阻塞队列,大小由spark.scheduler.listenerbus.eventqueue.size配置,默认10000,并以logDroppedEvent标记队列已满导致新事件被删除;原卡“闭包清理”在本章无原文依据,按本章实际内容改写。 - 原始内容:·eventQueue:是SparkListenerEvent事件的阻塞队列,队列大小可以通过Spark属性spark.scheduler.listenerbus.eventqueue.size进行配置,默认为10000……·logDroppedEvent:AtomicBoolean类型的变量,用于标记是否由于eventQueue已满,导致新的事件被删除。