知识卡片
ELK日志收集六种架构
组件:原 ELK Stack——Elasticsearch(分布式搜索分析引擎,存结构化日志)、Logstash(采集和清洗,把非结构化流式日志转为结构化;由必选的输入、输出组件和可选的过滤器组件组成流水线,各有数十种插件)、Kibana(可视化查询、统计图表、仪表盘与权限管理——开发人员不再接触服务器日志文件,只需分配 Kibana 账号,还能控制可查看的日志范围)。加入 Beats 后称 Elastic Stack:Filebeat(文件,tail -f 实时读取)、Packetbeat(网络数据)、Metricbeat(系统和服务指标)、Winlogbeat(Windows 事件)、Auditbeat(Linux 审计、文件完整性)、Heartbeat(主动探测可用性)。
三种无 Filebeat 架构(应用须主动输出日志,有侵入性): 1. 日志可结构化为 JSON → 直接写 Elasticsearch,Kibana 查询;最简单、性能最高,适合日志量小的小型项目; 2. 不能结构化 → 先进 Logstash 格式化再入 ES;适合大多数中型项目; 3. 防 Logstash 压力过大 → 先写 Kafka 再进 Logstash;适合日志量大的集群和分布式项目。
三种有 Filebeat 架构:不想改动原有程序,就用 Filebeat 监控应用日志文件,输出到 ES、Logstash 或 Kafka,在前三种之前加 Filebeat 形成三种新架构。两种部署: - 与每个应用部署在一起作代理:互不影响、采集性能好,但部署麻烦,且日志量变化快时会抢占服务器资源、影响应用运行; - 日志经 NFS 共享存储集中,独立部署 Filebeat 服务器:与应用分离,资源消耗再大也不影响业务。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 系统日志架构设计 · 查看原书依据
以上3种架构对程序都具有一定的侵入性,应用程序必须主动输出日志。