知识卡片
Channel介质决定缓冲故障边界
Flume Channel 暂存 Source 写入的 Event,直到 Sink 取走。内存 Channel 吞吐高,但断电会丢失、内存不足可能拖垮 Agent;文件 Channel 牺牲部分性能换取磁盘缓冲,数据库或 Kafka Channel 则提供其他持久化与扩容方式。选择缓冲介质时,要先定义可容忍的数据丢失和故障恢复目标。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html)
- 结论依据:原文逐项比较 Memory、File、JDBC、Kafka Channel 的性能、容量与故障后数据保留能力。
- 原始内容:Channel是一个缓存区,它暂存Source写入的Event,直到被Sink发送出去。……该Channel具有非常高的性能……但一旦断电,内存中数据会丢失……File Channel:在磁盘文件中缓存Event。该Channel弥补了Memory Channel的不足,但性能会有一定的下降。