知识卡片

操作参考卡 · 1750.b.2.c.2.a.3.b

Grafana排查技巧

理解等级:初级
  • 看全部维度:表达式只保留指标名、Legend format 留空,显示原始指标的全部维度(如 instance、job、type),再按需在 by 后加入 instance 等维度。
  • Y 轴比例:Query Duration 默认按 2 的对数显示,差异被压缩;排查某一时刻变慢时改为线性。观察一个月的趋势时线性噪点多,不宜使用。
  • Y 轴基线:基数大时把最小值从 0 改为 auto,放大如扩容后 Store size 的微弱变化。
  • 联动:把 Graph Tooltip 设为 Shared crosshair 或 Shared Tooltip,多个面板的标尺联动,便于确认两个指标的关联。
  • 旧 PD Leader:PD 面板只显示当前 Leader,可在 instance 中手动输入 ip:2379 查看历史 Leader 当时的数据。
  • 汇总函数:指标波动大时,给图例增加 Avg 等函数看一段时间的整体趋势。
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 7 处

    • 运维管理 · 查看原书依据

      在监控数据的来源与展示一节的示例中,数据是按照 type 进行分组的。如果你想知道是否还能按其它维度分组,并快速查看还有哪些维度,可采用以下技巧:在 query 的表达式上只保留指标名称,不做任何计算,Legend format 也留空。

    • 运维管理 · 查看原书依据

      以 Query Duration 指标为例,默认的比例尺采用 2 的对数计算,显示上会将差距缩小。为了观察到明显的变化,可以将比例尺改为线性,从下面两张图中可以看到显示上的区别,明显发现那个时刻有个 SQL 语句运行较慢。

    • 运维管理 · 查看原书依据

      当然也不是所有场景都适合用线性,比如观察 1 个月的性能趋势,用线性可能就会有很多噪点,不好观察。

    • 运维管理 · 查看原书依据

      有时已经用了线性比例尺,却还是看不出变化趋势。比如下图中,在扩容后想观察 Store size 的实时变化效果,但由于基数较大,观察不到微弱的变化。这时可以将 Y 轴最小值从 0 改为 auto,将上部放大。

    • 运维管理 · 查看原书依据

      下面将图形展示工具分别调整为 Shared crosshair 和 Shared Tooltip 看看效果。可以看到标尺能联动展示了,方便排查问题时确认 2 个指标的关联性。

    • 运维管理 · 查看原书依据

      PD 的 dashboard 只展示当前 leader 的 metric 信息,而有时想看历史上 PD leader 当时的状况,但是 instance 下拉列表中已不存在这个成员了。此时,可以手动输入 ip:2379 来查看当时的数据。

    • 运维管理 · 查看原书依据

      通常默认图例中只有 Max 和 Current 函数。当指标波动较大时,可以增加 Avg 等其它汇总函数的图例,来看一段时间的整体趋势。

    参考来源

    - 位置:《TiDB 最佳实践(v8.5)》第04章《运维管理》·《使用 Grafana 监控 TiDB 的最佳实践》(源文件:extracted/TiDB 最佳实践(v8.5)/_epub-src/OEBPS/text/ch04.xhtml;片段 n04-03;阅读段落 146,149,150,156,161,165,167)(来源项目:book-sources;内容对应 docs-cn release-8.5) - 结论依据:原文对Grafana排查技巧给出上述机制、条件或数据;本卡把已读说明整理为可独立理解的解释。 - 原始内容:在监控数据的来源与展示一节的示例中,数据是按照 type 进行分组的。如果你想知道是否还能按其它维度分组,并快速查看还有哪些维度,可采用以下技巧:在 query 的表达式上只保留指标名称,不做任何计算,Legend format 也留空。 …… 以 Query Duration 指标为例,默认的比例尺采用 2 的对数计算,显示上会将差距缩小。为了观察到明显的变化,可以将比例尺改为线性,从下面两张图中可以看到显示上的区别,明显发现那个时刻有个 SQL 语句运行较慢。 …… 当然也不是所有场景都适合用线性,比如观察 1 个月的性能趋势,用线性可能就会有很多噪点,不好观察。 …… 有时已经用了线性比例尺,却还是看不出变化趋势。比如下图中,在扩容后想观察 Store size 的实时变化效果,但由于基数较大,观察不到微弱的变化。这时可以将 Y 轴最小值从 0 改为 auto,将上部放大。 …… 下面将图形展示工具分别调整为 Shared crosshair 和 Shared Tooltip 看看效果。可以看到标尺能联动展示了,方便排查问题时确认 2 个指标的关联性。 …… PD 的 dashboard 只展示当前 leader 的 metric 信息,而有时想看历史上 PD leader 当时的状况,但是 instance 下拉列表中已不存在这个成员了。此时,可以手动输入 ip:2379 来查看当时的数据。 …… 通常默认图例中只有 Max 和 Current 函数。当指标波动较大时,可以增加 Avg 等其它汇总函数的图例,来看一段时间的整体趋势。