知识卡片
Flume的Source-Channel-Sink解耦管道模式
Flume用一个三段式结构解决”流式数据从异构分散的数据源,可靠地送到中心化存储系统”这个通用问题:Source负责从客户端或上一级Agent接收数据(支持Avro/Thrift/Kafka/HTTP/执行shell命令等多种接入方式),Channel充当中间缓冲区,把Source的”生产速度”和Sink的”消费速度”解耦开,Sink负责把Channel里的数据写入最终目标系统。这个三段式本身是一种可迁移的通用管道模式——任何”多源异构输入、需要可靠中转到统一输出”的场景都可以照此拆分:接入层只管适配不同协议,缓冲层负责削峰填谷,可靠性取决于Channel持久性、交接确认和下游写入,输出层只管写入目标。Flume进一步在这个骨架上叠加了两种关键的路由/容错能力:一是Channel Selector,用Replicating模式把同一份Event复制到多个Channel实现”一份数据、多套下游系统各自处理”,或用Multiplexing模式按Event头部属性把不同数据路由到不同Channel;二是Sink Processor,把多个Sink编成一个Sink Group后,用Failover策略实现”主Sink挂了自动切到备用Sink”,或用Load Balancing策略(轮询/随机)把负载摊到多个Sink上。整个数据流还可以级联多个Agent,形成”多路合并”(多个采集点日志汇总到少数聚集节点再统一写入)或”多路复用”(同一份数据按类别路由到不同目标系统)两种典型拓扑。可迁移启发:设计数据管道时,”用缓冲区解耦生产消费”是基础招式,而”复制式路由用于多目标分发、故障转移式路由用于高可用”则是在此基础上进一步应对分发与容错需求的两个正交招式,可以按需组合而非只能二选一。
结构图:
flowchart LR
S["Source<br/>(Avro/Thrift/Kafka/HTTP/Exec等接入)"] -->|"Channel Selector<br/>Replicating(复制分发)/<br/>Multiplexing(按属性路由)"| C1["Channel A"]
S -->|"Channel Selector"| C2["Channel B"]
C1 -->|"Sink Processor<br/>Failover(故障转移)/<br/>Load Balancing(负载均衡)"| K1["Sink Group"]
C2 --> K2["Sink"]
K1 --> T1["目标系统(如HDFS)"]
K2 --> T2["下一级Agent或目标系统"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。