知识卡片

普通读书笔记卡

负载比较要先归一化

理解等级:高级

分区数、leader 数、CPU 使用率和网络吞吐量的单位不同,不能直接相加判断 broker 负载。本书的监控方案先把每项指标除以该项在全体 broker 中的总量,得到每个 broker 对该指标的占比;再按选定权重合成为 broker 负载 B,最后用 B / 所有 broker 的 B 之和 得到集群负载占比 D_b。例如四个 broker 的分区数为 75、76、75、74,第一个的分区占比为 75/300=0.25。若四节点完全均衡,每个 D_b 为 0.25;书中以偏离该均值的比例和标准差作为负载失衡告警参考,并举 10% 偏离阈值对应标准差 0.025 的例子。权重、指标集与阈值都要按实际集群校准;这个加权数是排查排序线索,不能单凭它证明同步失效的原因。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第10章《Kafka监控》10.3 节、表 10-2(源文件:`_epub-src/OEBPS/Text/chapter11.xhtml`;图片:`_epub-src/OEBPS/Images/365_1.jpg`、`365_2.jpg`、`366_1.jpg`、`366_5.jpg`、`367_1.jpg`、`367_2.jpg`) - 结论依据:原文给出逐指标归一化、加权求 broker 负载、再次归一化为集群占比,以及四 broker 的分区数和偏离阈值例子;图中的公式和表格已核对。此处称标准差是按公式开方后的统计量说明书中“均方差”表述。 - 原始内容:首先对每一个负载指标进行归一化的处理,归一化是一种无量纲的处理手段,把数据映射到0~1范围之内,这样更方便处理。