知识卡片

普通读书笔记卡

调用链采样率的权衡

理解等级:未标注

分布式调用跟踪系统对生产环境服务性能的损耗必须做到尽可能忽略不计——这是Google Dapper论文提出的四个设计目标之一”服务性能低损耗”,因为如果监控系统本身严重拖累核心业务性能,运维团队最终会选择把它直接关停,那监控系统再完善也没有意义。调用链对服务性能的损耗主要发生在调用跟踪和数据埋点采集这两个环节,除了开发人员自身对采集代码做优化外,控制采样率是最直接有效的手段:在大促这类峰值流量场景下,只需要采样其中很小一部分请求即可(例如1/1000的采样率,1000次请求中只采样其中一次),从而降低监控系统给服务性能带来的损耗。但采样率的设置本身又是一对新的权衡——采样控制最简单的做法是给所有服务进程配置相同且固定的采样率,这种做法看似省事,实则极不灵活:如果采样率阈值设置得偏低,在用户流量本来就小的场景下会错失大量本该被捕获的重要监控数据。更合理的做法是把采样率配置放进配置中心,让运维人员能够根据实际流量情况动态调整——流量大时调低采样率控制性能损耗,流量小时调高采样率避免丢失有价值的监控样本。这个思路的本质是:任何”监控/观测手段本身对被观测系统的性能开销”问题,都不能用一个静态、一刀切的参数来解决,而需要一个能随实际负载动态联动调节的机制。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》第1章《大系统小做——大规模服务化架构》"1.3.4 调配采样率"节(源文件:OEBPS/Text/0006.xhtml) - 结论依据:原文说明"在大促场景下,由于峰值流量较大,通常只需要采样其中很小的一部分请求即可",并指出"采样控制最简单的做法是为所有的服务进程配置相同且固定的采样率,但这种做法显得极其不灵活……笔者建议大家将采样率配置在配置中心内,以便运维同学动态调整",直接支撑本卡片结论。 - 原始内容:在大促场景下,由于峰值流量较大,通常只需要采样其中很小的一部分请求即可(比如1/1000 的采样率,监控系统只会在1000次请求中采样其中的某一次)……采样控制最简单的做法是为所有的服务进程配置相同且固定的采样率,但这种做法显得极其不灵活……笔者建议大家将采样率配置在配置中心内,以便运维同学动态调整。