知识卡片

普通读书笔记卡 · 2744.b

多输出源不共用管道

理解等级:未标注

同一份数据要写入多个下游(如 Elasticsearch 和 HBase)时,如果它们在采集工具的同一条管道里,一个下游写入失败会连带另一个也失败。书中 Logstash 的多输出就基于同一个 Pipeline,这是项目不用它直接写持久层的原因之一。设计多目标分发时,要确认各目标真正相互隔离,而不是以为“分别写”就等于“互不影响”。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第6章《数据收集》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_007.html) - 结论依据:原文说明日志需同时输出到Elasticsearch和HBase,而Logstash的多输出源基于同一个Pipeline,一个输出源出错另一个也会出错,两者互相影响,这是不用Logstash直接保存到持久化层的原因之一。 - 原始内容:1)日志文件中的数据需要同时到Elasticsearch和HBase两个输出源,因Logstash的多输出源基于同一个Pipeline(管道),如果一个输出源出错了,另一个输出源也会出错,即两者之间会互相影响。