知识卡片
采集源需要保存读取断点
日志采集源的实时性不能代替完整性。Flume 的 Exec Source 直接跟随命令输出,Agent 停止或命令失败时可能漏收;监控新文件的 Spooling Directory 较稳,却要求文件写入后不再修改。需要持续跟踪增长中的日志时,应保存读取断点,使重启后能从已处理位置继续,避免漏收或重传。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html)
- 结论依据:原文比较 Exec Source 与 Spooling Directory Source 的完整性和实时性边界,并举记录断点的 taildir source 说明重启恢复。
- 原始内容:该Flume Agent不运行或者指令执行出错时,将无法收集到日志数据,无法保证日志数据的完整性……拷贝到监控目录下的文件不可以再修改……并记录断点,保证重启Agent后数据不丢失或被重复传输