知识卡片
度量三元组
Spark度量系统用三个概念把监控标准化:实例(Instance)说明是谁在报,如Master、Worker、Driver、Executor;来源(Source)说明报什么,如DAGScheduler、BlockManager的指标;输出(Sink)说明报到哪里,如控制台、CSV、JMX、Graphite。三者正交组合,新增组件只需加来源,换监控后端只需换输出。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第3章《Spark基础设施》(源文件:_epub-src/EPUB/text00048.html)
- 结论依据:原文说明Spark度量系统中Instance指定实例名(Master、Worker、Application、Driver、Executor),Source指定度量数据来源,Sink指定输出去向,默认使用MetricsServlet。
- 原始内容:·Instance:指定了度量系统的实例名。Spark按照Instance的不同,区分为Master、Worker、Application、Driver和Executor。……·Source:指定了从哪里收集度量数据,即度量数据的来源。……·Sink:指定了往哪里输出度量数据,即度量数据的输出。