知识卡片
日志结构化与预聚合
日志加工把一行文本拆成时间、路径、状态码等字段,再统一格式或补充分类,使查询能按字段过滤和统计。聚合可在查询时临时计算,也可在收集后预先计算常用固定指标:前者灵活但消耗查询端资源,后者把成本前移,适合反复使用的固定报表。两者都以同一批离散事件为输入,区别在计算时点与可变程度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 可观测性 10.1.3 加工与聚合 · 查看原书依据
Logstash的基本职能是把日志行中的非结构化数据,通过Grok表达式语法转换为上面表格这样的结构化数据,进行结构化的同时,还可能会根据需要,调用其他插件来完成时间处理(统一时间格式)、类型转换(如字符串、数值的转换)、查询归类(譬如将IP地址根据地理信息库按省市归类)等额外处理工作,然后以JSON格式输出到Elasticsearch中(这是最普遍的输出形式,Logstash输出也有很多插件,可以具体定制不同的格式)。
- 可观测性 10.1.3 加工与聚合 · 查看原书依据
另一种解决方案是在收集日志后自动生成某些常用的、固定的聚合指标,这种聚合就会在Logstash中通过聚合插件来完成。
参考来源
- 位置:《凤凰架构:构建可靠的大型分布式系统》第10章《可观测性》(来源项目:book-sources;源文件:extracted/凤凰架构:构建可靠的大型分布式系统/_epub-src/OEBPS/Text/chapter116.xhtml)
- 结论依据:原文解释Grok结构化及固定、即席两种聚合位置,支持按计算时点比较其用途。
- 原始内容:Logstash的基本职能是把日志行中的非结构化数据,通过Grok表达式语法转换为上面表格这样的结构化数据,进行结构化的同时,还可能会根据需要,调用其他插件来完成时间处理(统一时间格式)、类型转换(如字符串、数值的转换)、查询归类(譬如将IP地址根据地理信息库按省市归类)等额外处理工作,然后以JSON格式输出到Elasticsearch中(这是最普遍的输出形式,Logstash输出也有很多插件,可以具体定制不同的格式)。