知识卡片
Event须在下一跳接收后移除
多级日志管道不能在发送时就删除本地缓冲。Flume 以事务性交接 Event:Sink 确认数据已写入目标,或下一 Agent 已接收后,才从当前 Channel 移除。这样故障发生在两跳之间时,当前节点仍有可重试的数据;可靠性边界取决于 Channel 的持久性与下游确认,而非只看网络发送成功。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html)
- 结论依据:原文明确要求 Event 先存入 Channel 或成功传给下一 Agent,之后才能删除,并将其称为事务性保证。
- 原始内容:Flume使用事务性的方式保证Event传递的可靠性。Sink必须在Event被存入Channel后,或者已经被成功传递给下一个Agent后,才能把Event从Channel中删除掉。