知识卡片

普通读书笔记卡 · 2277.q.9

日志结构化与预聚合

理解等级:中级

日志加工把一行文本拆成时间、路径、状态码等字段,再统一格式或补充分类,使查询能按字段过滤和统计。聚合可在查询时临时计算,也可在收集后预先计算常用固定指标:前者灵活但消耗查询端资源,后者把成本前移,适合反复使用的固定报表。两者都以同一批离散事件为输入,区别在计算时点与可变程度。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 可观测性 10.1.3 加工与聚合 · 查看原书依据

      Logstash的基本职能是把日志行中的非结构化数据,通过Grok表达式语法转换为上面表格这样的结构化数据,进行结构化的同时,还可能会根据需要,调用其他插件来完成时间处理(统一时间格式)、类型转换(如字符串、数值的转换)、查询归类(譬如将IP地址根据地理信息库按省市归类)等额外处理工作,然后以JSON格式输出到Elasticsearch中(这是最普遍的输出形式,Logstash输出也有很多插件,可以具体定制不同的格式)。

    • 可观测性 10.1.3 加工与聚合 · 查看原书依据

      另一种解决方案是在收集日志后自动生成某些常用的、固定的聚合指标,这种聚合就会在Logstash中通过聚合插件来完成。

    参考来源

    - 位置:《凤凰架构:构建可靠的大型分布式系统》第10章《可观测性》(来源项目:book-sources;源文件:extracted/凤凰架构:构建可靠的大型分布式系统/_epub-src/OEBPS/Text/chapter116.xhtml) - 结论依据:原文解释Grok结构化及固定、即席两种聚合位置,支持按计算时点比较其用途。 - 原始内容:Logstash的基本职能是把日志行中的非结构化数据,通过Grok表达式语法转换为上面表格这样的结构化数据,进行结构化的同时,还可能会根据需要,调用其他插件来完成时间处理(统一时间格式)、类型转换(如字符串、数值的转换)、查询归类(譬如将IP地址根据地理信息库按省市归类)等额外处理工作,然后以JSON格式输出到Elasticsearch中(这是最普遍的输出形式,Logstash输出也有很多插件,可以具体定制不同的格式)。