知识卡片
聚合指标与调用链分层存储
APM采集数据的保留粒度应随用途变化:书中将普通实时指标分类后按分钟统计再入Elasticsearch,以减少原始数据的存储与查询成本;调用链数据则完整保留,供请求级追踪。
聚合会丢失单次请求细节,因此指标汇总不能替代调用链。完整保留链路也会增加容量,需按诊断目标另定保留范围。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用可伸缩微服务架构》第14章《微服务监控实战》14.1.3节“监控数据的预处理”(源文件:OEBPS/Text/chapter019.xhtml)
- 结论依据:原文先说明全量原始数据的容量与统计查询成本,再明确自研APM对实时数据按分钟分类计算、而调用链全量存储;分层保留是案例取舍,未给出普遍适用的保留期限。
- 原始内容:如果将数据全部保存到数据库,则会造成需要保存的数据量非常巨大……在笔者实际APM项目中使用Kafka Stream来实现数据预处理,将实时数据进行分类并计算每分钟的数据集合,然后存放到 Elasticsearch 中,而涉及调用链的数据则是全量存储