返回主题:框架与集成:Storm、Spark 与消息系统怎么接
知识卡片
结构图卡 · 2819.f.1
Flume的Source-Channel-Sink解耦管道模式
理解等级:未标注
Flume用一个三段式结构解决”流式数据从异构分散的数据源,可靠地送到中心化存储系统”这个通用问题:Source负责从客户端或上一级Agent接收数据(支持Avro/Thrift/Kafka/HTTP/执行shell命令等多种接入方式),Channel充当中间缓冲区,把Source的”生产速度”和Sink的”消费速度”解耦开,Sink负责把Channel里的数据写入最终目标系统。这个三段式本身是一种可迁移的通用管道模式——任何”多源异构输入、需要可靠中转到统一输出”的场景都可以照此拆分:接入层只管适配不同协议,缓冲层负责削峰填谷,可靠性取决于Channel持久性、交接确认和下游写入,输出层只管写入目标。Flume进一步在这个骨架上叠加了两种关键的路由/容错能力:一是Channel Selector,用Replicating模式把同一份Event复制到多个Channel实现”一份数据、多套下游系统各自处理”,或用Multiplexing模式按Event头部属性把不同数据路由到不同Channel;二是Sink Processor,把多个Sink编成一个Sink Group后,用Failover策略实现”主Sink挂了自动切到备用Sink”,或用Load Balancing策略(轮询/随机)把负载摊到多个Sink上。整个数据流还可以级联多个Agent,形成”多路合并”(多个采集点日志汇总到少数聚集节点再统一写入)或”多路复用”(同一份数据按类别路由到不同目标系统)两种典型拓扑。可迁移启发:设计数据管道时,”用缓冲区解耦生产消费”是基础招式,而”复制式路由用于多目标分发、故障转移式路由用于高可用”则是在此基础上进一步应对分发与容错需求的两个正交招式,可以按需组合而非只能二选一。
结构图:
flowchart LR
S["Source<br/>(Avro/Thrift/Kafka/HTTP/Exec等接入)"] -->|"Channel Selector<br/>Replicating(复制分发)/<br/>Multiplexing(按属性路由)"| C1["Channel A"]
S -->|"Channel Selector"| C2["Channel B"]
C1 -->|"Sink Processor<br/>Failover(故障转移)/<br/>Load Balancing(负载均衡)"| K1["Sink Group"]
C2 --> K2["Sink"]
K1 --> T1["目标系统(如HDFS)"]
K2 --> T2["下一级Agent或目标系统"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》之"3.2 Flume NG基本架构"(源文件:_epub-src/OEBPS/text00022.html);拓扑示例见"3.3 Flume NG高级组件"(源文件:_epub-src/OEBPS/text00023.html)
- 结论依据:原文说明"Agent内部主要由三个组件构成,分别是Source,Channel和Sink……Channel Selector允许Flume Source选择一个或多个目标Channel……Replicating Channel Selector:将每个Event指定的多个Channel……Multiplexing Channel Selector:根据Event头部的某个属性值,将Event写入对应的Channel……Sink Processor则在Sink Group基础上提供负载均衡以及容错的功能……Failover Sink Processor……Load balancing Sink Processor",直接支撑本卡关于三段式解耦架构与路由/容错策略的结构图与结论。
- 原始内容:在该数据流中,每个Web Server将流式日志发送到一个对应的Flume Agent上,Flume Agent收到数据后,统一发送给一个汇总的Agent,由它写入HDFS。……Flume支持将数据路由到多个目标系统中,这是通过Flume内置的多路复用功能实现的,典型拓扑如图3-6所示。