知识卡片
日志解析使文本成为可分析记录
日志或数据包进入独立链路后,解析器把时间、事件类型和业务字段提取成结构化记录,才便于后续查询。采集和解析的版本需要配合;源日志格式变化时,应能识别错误并保留原始数据。这里只说明结构化过程,不假定消息链路天然不会丢失或重复。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据技术中台 11.2.2 非结构化数据采集 · 查看原书依据
“将非结构化的日志数据转化为结构化数据”,就是在一行行的日志中抠取其中的数据,将其变成一条条的结构化数据记录,如图11-12所示。
参考来源
- 位置:《架构真意企业级应用架构设计方法论与实践》第11章《大数据技术中台》“11.2.2 非结构化数据采集”(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/架构真意企业级应用架构设计方法论与实践/_epub-src/EPUB/xhtml/chapter147.xhtml)。
- 结论依据:原文的具体说明支撑这一概括:日志或数据包进入独立链路后,解析器把时间、事件类型和业务字段提取成结构化记录,才便于后续查询。其余范围限定用于避免超出书内证据。
- 原始内容:“将非结构化的日志数据转化为结构化数据”,就是在一行行的日志中抠取其中的数据,将其变成一条条的结构化数据记录,如图11-12所示。