知识卡片

普通读书笔记卡 · 2819.f.1.c

Event须在下一跳接收后移除

理解等级:中级

多级日志管道不能在发送时就删除本地缓冲。Flume 以事务性交接 Event:Sink 确认数据已写入目标,或下一 Agent 已接收后,才从当前 Channel 移除。这样故障发生在两跳之间时,当前节点仍有可重试的数据;可靠性边界取决于 Channel 的持久性与下游确认,而非只看网络发送成功。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html) - 结论依据:原文明确要求 Event 先存入 Channel 或成功传给下一 Agent,之后才能删除,并将其称为事务性保证。 - 原始内容:Flume使用事务性的方式保证Event传递的可靠性。Sink必须在Event被存入Channel后,或者已经被成功传递给下一个Agent后,才能把Event从Channel中删除掉。