知识卡片

普通读书笔记卡 · 2277.q.2

日志收集求连续不求全

理解等级:未标注

ELK 最初让 Logstash 既做节点侧收集器又做归集端,但它跑在独立 JVM 上、默认堆就 1GB,要部署到成千上万个业务节点就太重。于是有了用 Go 重写的 Filebeat:节点侧组件的部署密度决定了它必须为轻而舍全。另一个现实约束是,在海量规模下,归集日志与实际产生的日志绝对一致既不现实也不值得,只追求可承受代价内的较高质量。常见做法是在前面加一层 Kafka 或 Redis 队列削峰填谷,避免整体丢失。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 可观测性 10.1.2 收集与缓冲 · 查看原书依据

      日志收集器不仅要保证能覆盖全部数据来源,还要尽力保证日志数据的连续性,这其实并不容易做到。譬如淘宝这类大型的互联网系统,每天的日志量超过了10 000TB(10PB)量级,日志收集器的部署实例数能到达百万量级[1],此时归集到系统中的日志要与实际产生的日志保持绝对的一致性是非常困难的,也不

    参考来源

    - 位置:《凤凰架构:构建可靠的大型分布式系统》第10章"可观测性"10.1.2节 "收集与缓冲"(源文件:_epub-src/OEBPS/Text/chapter115.xhtml) - 结论依据:原文说明Logstash基于JRuby、默认1GB堆对节点侧收集器过重, Elastic.co因此用Golang重写出轻量的Filebeat,并指出大型系统日志收集 "不追求绝对的完整精确"、常用Kafka/Redis做缓冲层削峰填谷,直接支撑 本卡片结论。 - 原始内容:作为每个节点都要部署的日志收集器就显得太过负重了……日志不追求绝对的完整精确,只追求在代价可承受的范围内尽可能地保证较高的数据质量……一种最常用的缓解压力的做法是将日志接收者从Logstash和Elasticsearch转移至抗压能力更强的队列缓存