知识卡片

普通读书笔记卡 · 2444.b

日志先进缓冲再入库

理解等级:未标注

日志量大时,在采集端和存储端之间加一层消息队列(首选 Kafka)缓存原始日志:节点上的采集器按类别写入不同 Topic,多个消费者并行读取、处理后写入检索存储,两端解耦、可以各自扩容。非标准输出的日志要单独选采集方式:转成标准输出最简单,但只适合日志量小的应用;写入挂载卷对应用零侵入,却要大量存储并清理 Pod 退出后的残留日志。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《OpenShift在企业中的实践 PaaS DevOps微服务(第2版)》第5章《OpenShift在企业中的运维实践》(源文件:_epub-src/OEBPS/Text/00090.xhtml、_epub-src/OEBPS/Text/00091.xhtml) - 结论依据:原文说明日志系统引入 Kafka 缓存原始日志,并比较非标准输出日志转标准输出与写入挂载存储两种方案的优缺点。 - 原始内容:·消息队列:在该阶段主要负责缓存原始日志数据,可选择Redis或Kafka之类的消息中间件,对于日志场景首选Kafka,因为它具有分布式、高可用性、大吞吐等特性。……这种方案的优点就是简单,应用可能需要做少量的配置修改;缺点是所有日志输出到标准输出,当日志量大时可能会造成标准输出崩溃。……这种方案的优点在于实现简单,对应用无任何侵入,也不依赖与语言;而缺点在于需要大量的后端存储,另外需要解决Pod退出后遗留在存储卷中的日志清理问题。