知识卡片

普通读书笔记卡 · 2819.e

日志系统通用架构

理解等级:未标注

大数据日志系统有一条通用流水线:采集器部署在每台应用服务器上,监控本地日志文件,把新增内容发到缓冲队列;解析器集群从队列读取日志,把按行的文本转换成 JSON;再存入存储系统并建立索引,提供搜索;最后由展示系统供运维、开发查看分析,或在存储数据之上构建监控与报警。ELK 等工具可以对应到这些环节。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式服务架构:原理、设计与实战》第4章《大数据日志系统的构建》(源文件:_epub-src/EPUB/text00013.html) - 结论依据:原文说明大数据日志系统通用架构:采集器部署在每个应用服务器上监控本地日志文件,把新内容发送到缓冲队列;解析器集群监听缓冲队列,把文本日志转为JSON;存入有序存储系统并建立索引提供搜索;使用方通过展示系统查看分析,或基于存储数据构建监控报警。 - 原始内容:大数据日志系统的采集器部署在每个应用服务器上,它们监控本地的日志文件,如果有日志内容产生,则获取新产生的日志内容,然后发送到对应的缓冲队列节点。……解析器集群会监听缓冲队列集群,如果有日志进入,则将获取日志并进行处理,通常会把基于行的文本日志转换成JSON格式的数据,以便于后续的存储。