← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1213.d.1.m

日志清洗顺带监控告警

理解等级:中级

问题:在巨大的日志文件里找需要的那一点内容犹如大海捞针。日志收集要实现四个目标: 1. 海量存储(可靠不丢、可检索)与 2. 全文检索——选支持两者的引擎即可,主流是 Elasticsearch; 3. 链路追踪——日志中记录 TraceID 和 SpanID(见 3.10 节); 4. 统计分析——最难,这是关系型数据库的特长,搜索引擎也能做,但前提是先把数据结构化。

四个步骤:日志采集(应用、数据库、中间件、网络、操作系统)→ 日志清洗(过滤、解析,转为结构化)→ 日志存储 → 日志分析(可视化查询统计)。

两点设计要求: - 采集程序主动去采集各软件、设备、系统的日志(MySQL、Oracle、Nginx、Tomcat),而不是由各程序主动上送; - 清洗程序按过滤器设计,层层转换。例:name yinhongliang age 20 sex man 先按空格切成 6 元素数组,再两两组合成 JSON。结构化后可输出到 MongoDB、MySQL、Elasticsearch、控制台、文件或网络监听服务。

顺带获得监控预警:所有日志都经过清洗程序,可检测指定的错误日志——MySQL 慢日志发现慢 SQL 就邮件通知开发;Nginx error.log 发现 Upstream 节点不通就通知运维可能宕机;Tomcat catalina.out 出现 Out of memory 就提醒内存溢出。同理可对各种设备软件做关键词监控。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《架构基础:从需求到架构》第06章《第6章 系统日志架构设计》6.8 日志收集架构(导语、6.8.1)(源文件:extracted/架构基础:从需求到架构/_epub-src/OEBPS/Text/Chapter_6_8.xhtml,来源项目 book-sources) - 结论依据:6.8节提出日志收集的海量存储、全文检索、链路追踪、统计分析四个目标并指出统计分析须先结构化;6.8.1节介绍采集、清洗、存储、分析四步,强调主动采集和过滤器式清洗,并以MySQL慢日志、Nginx错误日志、Tomcat内存溢出为例说明借清洗程序做监控预警;6.9节练习复述了四步策略。 - 原始内容:由于所有的日志都会经过日志清洗程序,所以可以通过监测是否存在指定的错误日志,来达到监控预警的目的。