知识卡片
按事件级别选择性复制日志
同一批日志可按 Event 头部属性决定额外去向。Flume 的 Multiplexing Channel Selector 让全部日志进入 HDFS 通道,同时把重要级别的日志再送入 HBase 通道。这里的分流并非把重要日志从默认目的地移走,而是在保留完整存储的基础上增加一份供重点处理的数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.3.2(源文件:_epub-src/OEBPS/text00023.html)
- 结论依据:实例使用 Severity 头部值和 MULTIPLEXING 映射,0~3 同时指向 c21、c22;两条通道分别接 HDFS、HBase Sink。
- 原始内容:Agent会按照Event头部的Severity属性值判断数据的重要性……其中重要的数据会往HBase额外写入一份……重要数据需同时写到HDFS和HBase中,显式指定重要度为0~3的数据同时写入c21和c22