知识卡片

普通读书笔记卡 · 2819.g

断点续采靠inode

理解等级:未标注

采集器宕机期间日志恰好滚动,文件名变了,重启后怎么接着采?做法是把文件“指纹”和已读行号记在本地,指纹通常用 inode:文件重命名时 inode 不变,只影响目录信息,所以采集器跟踪 inode 加行号就能找到原文件继续采集。但文件被压缩后 inode 会变,相当于另一个文件,只能手工处理。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式服务架构:原理、设计与实战》第4章《大数据日志系统的构建》(源文件:_epub-src/EPUB/text00013.html) - 结论依据:原文说明采集器宕机期间日志滚动、文件名变化时,采集器存储文件“指纹”及行位置实现断点续采;文件指纹通常指inode,文件重命名inode不变,所以采集器追踪inode和行号;但文件被压缩后inode改变,已成另一个文件,需要手工处理。 - 原始内容:文件指纹通常指文件的inode,即使文件重命名,文件的inode也不会发生变化,因此,采集器通常追踪的是文件的inode信息和行号……但是如果文件被压缩后,inode实际发生了改变,则文件已经成为另外一个文件了,这时需要手工处理。