知识卡片
排查工具的"3分钟价值临界点":查询耗时一旦超过它,工具在实战中就发挥不出价值
内容
针对”想知道但目前不知道该怎么查”这类信息(known-unknown),获取隐藏信息主要依靠工具(系统自带的、开源的、或自己开发的),但一个容易被忽视的关键约束是:工具本身的学习和使用成本,在真实排查场景中是极其重要的因素。团队给出了几个具体的效率参照标准:30秒获取整体服务情况(请求量、响应时间分布、错误码分布)、3分钟了解某台机器的负载情况(CPU/网络/内存/磁盘I/O/GC相关的多项指标)、3分钟了解一次请求的完整链路情况(网络传输到应用层函数调用的调用链、输入输出和耗时)、3分钟检索当前系统的快照情况(线程栈、变量值等)。这些数字看起来定得比较苛刻,作者特别强调这个”3分钟”指的是从”头脑中产生要看某个信息的想法”到”真正看到并理解这个信息”的完整耗时,包括临时上网搜索命令用法、安装工具这类前置准备工作也要计入——这才是真实排查场景里工具实际能发挥价值的完整成本。最终给出的核心结论是:如果一次查询的耗时超过3分钟,这个工具在真实的排查过程中很可能根本无法发挥它本该有的价值。这个案例揭示了一条评估”排查工具是否真正有用”的实用标准:一个工具功能上能不能查到需要的信息,只是它是否有价值的必要条件,真正决定它在真实高压排查场景下能不能被使用的,是获取这个信息的总耗时(含学习成本)是否足够低——因为[[排查时的两个非技术性障碍:线索价值不确定时的低成本偏好,与”熟悉偏好”心理]]描述的心理倾向,任何耗时较长、门槛较高的工具,在实战中都很容易被工程师本能地绕开,转而依赖那些更熟悉、成本更低的手段,即使后者未必是最对症的。这也是为什么团队特别强调”降低工具的使用成本”本身就是排查问题相关工具建设的核心价值所在。
参考来源
- 位置:《高可用架构(第1卷)》第5章《运维保障》"5.4 微博在大规模、高负载系统问题排查方法"节,"5.4.2 排查方法及线索"(源文件:_epub-src/OEBPS/Text/Chapter5_4_3.xhtml)
- 结论依据:原文列出30秒/3分钟的多项效率标准,并说明"我指的是从头脑中有要看的想法,到看到并理解实际信息的时间。Google一下命令的用法、安装工具之类的时间也要算进去……关于known-unknown只强调一点:如果要做用于排查问题的工具,若一次查询的时间超过3分钟,那在实际排查的过程中很有可能无法发挥此工具的价值",直接支撑本卡片结论。
- 原始内容:30秒获取整体服务情况……3分钟了解某台机器的负载情况……我指的是从头脑中有要看的想法,到看到并理解实际信息的时间……关于known-unknown只强调一点:如果要做用于排查问题的工具,若一次查询的时间超过3分钟,那在实际排查的过程中很有可能无法发挥此工具的价值。