返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡 · 2819.f.1.b

Channel介质决定缓冲故障边界

理解等级:中级

Flume Channel 暂存 Source 写入的 Event,直到 Sink 取走。内存 Channel 吞吐高,但断电会丢失、内存不足可能拖垮 Agent;文件 Channel 牺牲部分性能换取磁盘缓冲,数据库或 Kafka Channel 则提供其他持久化与扩容方式。选择缓冲介质时,要先定义可容忍的数据丢失和故障恢复目标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html) - 结论依据:原文逐项比较 Memory、File、JDBC、Kafka Channel 的性能、容量与故障后数据保留能力。 - 原始内容:Channel是一个缓存区,它暂存Source写入的Event,直到被Sink发送出去。……该Channel具有非常高的性能……但一旦断电,内存中数据会丢失……File Channel:在磁盘文件中缓存Event。该Channel弥补了Memory Channel的不足,但性能会有一定的下降。