知识卡片

普通读书笔记卡 · 2819.f.1.a

采集源需要保存读取断点

理解等级:中级

日志采集源的实时性不能代替完整性。Flume 的 Exec Source 直接跟随命令输出,Agent 停止或命令失败时可能漏收;监控新文件的 Spooling Directory 较稳,却要求文件写入后不再修改。需要持续跟踪增长中的日志时,应保存读取断点,使重启后能从已处理位置继续,避免漏收或重传。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第3章《非关系型数据的收集》3.2.1(源文件:_epub-src/OEBPS/text00022.html) - 结论依据:原文比较 Exec Source 与 Spooling Directory Source 的完整性和实时性边界,并举记录断点的 taildir source 说明重启恢复。 - 原始内容:该Flume Agent不运行或者指令执行出错时,将无法收集到日志数据,无法保证日志数据的完整性……拷贝到监控目录下的文件不可以再修改……并记录断点,保证重启Agent后数据不丢失或被重复传输