知识卡片
日志采集与请求处理解耦
调用链采集不能让日志I/O阻塞业务线程。可先把埋点数据写入本地环形缓冲区,合并高频写入,再异步发送到消息队列;队列削平不均匀流量,后端流式处理。采集能力不足时还需采样或丢弃策略。核心边界是让追踪链路与请求处理独立,即使观测系统承压,也不能拖垮被观测服务。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大型企业微服务架构实践与运营》第5章《服务调用链日志跟踪》5.1、5.2.2(源文件:_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文强调带外采集不影响请求处理,并说明本地Ring Buffer缓冲、合并写入和异步Kafka传输用于降低日志I/O对业务线程与网络的冲击。
- 原始内容:整个收集过程是Out-of-Band的,与请求处理是完全不相干的两个独立过程,这样就不会影响请求的处理。……利用本地缓存Ring Buffer作为采集节点和消息中间件Kafka集群之间的缓冲……需要减少写入次数,即将多次写入操作合并成一次写入操作,并且采用异步写入方式。