知识卡片

普通读书笔记卡 · 1218.l.1

聚合指标与调用链分层存储

理解等级:高级

APM采集数据的保留粒度应随用途变化:书中将普通实时指标分类后按分钟统计再入Elasticsearch,以减少原始数据的存储与查询成本;调用链数据则完整保留,供请求级追踪。

聚合会丢失单次请求细节,因此指标汇总不能替代调用链。完整保留链路也会增加容量,需按诊断目标另定保留范围。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用可伸缩微服务架构》第14章《微服务监控实战》14.1.3节“监控数据的预处理”(源文件:OEBPS/Text/chapter019.xhtml) - 结论依据:原文先说明全量原始数据的容量与统计查询成本,再明确自研APM对实时数据按分钟分类计算、而调用链全量存储;分层保留是案例取舍,未给出普遍适用的保留期限。 - 原始内容:如果将数据全部保存到数据库,则会造成需要保存的数据量非常巨大……在笔者实际APM项目中使用Kafka Stream来实现数据预处理,将实时数据进行分类并计算每分钟的数据集合,然后存放到 Elasticsearch 中,而涉及调用链的数据则是全量存储