← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1213.d.1.n

ELK日志收集六种架构

理解等级:中级

组件:原 ELK Stack——Elasticsearch(分布式搜索分析引擎,存结构化日志)、Logstash(采集和清洗,把非结构化流式日志转为结构化;由必选的输入、输出组件和可选的过滤器组件组成流水线,各有数十种插件)、Kibana(可视化查询、统计图表、仪表盘与权限管理——开发人员不再接触服务器日志文件,只需分配 Kibana 账号,还能控制可查看的日志范围)。加入 Beats 后称 Elastic Stack:Filebeat(文件,tail -f 实时读取)、Packetbeat(网络数据)、Metricbeat(系统和服务指标)、Winlogbeat(Windows 事件)、Auditbeat(Linux 审计、文件完整性)、Heartbeat(主动探测可用性)。

三种无 Filebeat 架构(应用须主动输出日志,有侵入性): 1. 日志可结构化为 JSON → 直接写 Elasticsearch,Kibana 查询;最简单、性能最高,适合日志量小的小型项目; 2. 不能结构化 → 先进 Logstash 格式化再入 ES;适合大多数中型项目; 3. 防 Logstash 压力过大 → 先写 Kafka 再进 Logstash;适合日志量大的集群和分布式项目。

三种有 Filebeat 架构:不想改动原有程序,就用 Filebeat 监控应用日志文件,输出到 ES、Logstash 或 Kafka,在前三种之前加 Filebeat 形成三种新架构。两种部署: - 与每个应用部署在一起作代理:互不影响、采集性能好,但部署麻烦,且日志量变化快时会抢占服务器资源、影响应用运行; - 日志经 NFS 共享存储集中,独立部署 Filebeat 服务器:与应用分离,资源消耗再大也不影响业务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第06章《第6章 系统日志架构设计》6.8.2 Elastic Stack架构组件介绍;6.8.3 Elastic Stack架构模式(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_6_8.xhtml,来源项目 book-sources) - 结论依据:6.8.2节介绍Elasticsearch、Logstash、Kibana与Beats六种采集器的作用;6.8.3节按日志能否结构化和日志量给出三种无Filebeat架构,以及加入Filebeat实现无侵入采集的三种架构和随应用部署与基于NFS独立部署两种方式的取舍。 - 原始内容:以上3种架构对程序都具有一定的侵入性,应用程序必须主动输出日志。