返回主题:框架与集成:Storm、Spark 与消息系统怎么接

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2819.f

采集与解析间加缓冲

理解等级:未标注

日志采集器和解析器之间应加一层缓冲队列(通常用 Kafka)。否则解析器负载高时会拖慢采集器,采集器内存耗尽就会丢日志;而采集器和应用部署在同一台机器上,还可能影响应用本身。缓冲队列像蓄水池,后端存储升级维护时也能先把日志存着。它本身必须高性能、高可用,否则日志会积压在应用端。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式服务架构:原理、设计与实战》第4章《大数据日志系统的构建》(源文件:_epub-src/EPUB/text00013.html) - 结论依据:原文推荐在日志采集器和日志处理器之间增加队列缓冲区:没有缓冲时解析器负载高会拖住采集器,采集器内存吃光会丢日志,且采集器与应用部署在一起可能影响应用;缓冲队列像蓄水池,存储节点升级维护时可暂存日志;通常用Kafka。 - 原始内容:则在日志解析器负载较高时,会拖住日志采集器,导致日志采集器变慢,至少会影响日志推送的速度,如果采集器的内部缓冲或者内存被吃光,则会导致日志丢失……我们通常使用Kafka,因为它处理消息的性能是最好的,也是最容易扩展和伸缩的。