返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡 · 2819.f.1.e

按事件级别选择性复制日志

理解等级:中级

同一批日志可按 Event 头部属性决定额外去向。Flume 的 Multiplexing Channel Selector 让全部日志进入 HDFS 通道,同时把重要级别的日志再送入 HBase 通道。这里的分流并非把重要日志从默认目的地移走,而是在保留完整存储的基础上增加一份供重点处理的数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.3.2(源文件:_epub-src/OEBPS/text00023.html) - 结论依据:实例使用 Severity 头部值和 MULTIPLEXING 映射,0~3 同时指向 c21、c22;两条通道分别接 HDFS、HBase Sink。 - 原始内容:Agent会按照Event头部的Severity属性值判断数据的重要性……其中重要的数据会往HBase额外写入一份……重要数据需同时写到HDFS和HBase中,显式指定重要度为0~3的数据同时写入c21和c22