知识卡片

普通读书笔记卡 · 2744.a

业务加工不进采集管道

理解等级:未标注

日志从文件搬到查询引擎时,若要补充城市、性别、年龄等业务字段,放在采集链路的哪一环都不合适:写在 Logstash 自定义过滤器里,要用 Ruby 写业务逻辑;放在客户端埋点,查询条件一变就要重新发版;放在服务端写日志前,会拖慢每个请求。项目最终让 Logstash 只把原始日志搬到 Kafka,由实时计算框架做业务加工。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第6章《数据收集》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_007.html) - 结论依据:原文说明业务要在记录中补城市、性别、年龄等字段,三种放在采集阶段的做法都被否决:Logstash自定义Filter要用Ruby写业务逻辑;客户端埋点加字段则后台查询条件一变就要发版;服务端写日志前查库会影响每个请求效率;最终Logstash只搬运原始日志到Kafka,由Flink做业务加工。 - 原始内容:因为Logstash自定义的Filter是使用Ruby语言编写的,也就是说需要使用其他语言编写业务逻辑……理由是后期业务侧每更新一次后台查询条件,就需要重新发一次版……这个方法也被服务端否决了,因为这种操作会直接影响每个请求的效率,间接影响用户体验。……2)使用数据收集框架Logstash,从日志文件抽取原始的日志数据,不加工直接存放到Kafka当中。