知识卡片
inotify事件驱动日志采集
日志收集最直觉的做法是文件轮询:按固定间隔反复读文件到文件尾再等下一轮。实现简单,但对错误日志这类写入稀疏的文件,绝大多数轮询都是空转,白白浪费CPU时间片。Linux 2.6.13起引入的inotify提供响应式替代:程序先创建实例、为目标文件注册watch并声明事件掩码,再用read阻塞读取;一旦文件发生修改,内核即时通知,程序从上次记录的文件指针位置只读取追加内容。事件驱动把被动反复查变成有变化才读,显著降低空转开销。代价是它是单机内核机制,需自行处理事件队列与文件轮转,采集到的日志仍要经ActiveMQ分发才能进入统一分析系统。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 5.1 日志收集
原书出处 · 1 处
- 第5章 数据分析 5.1 日志收集 · 查看原书依据
通过inotify机制,能够对文件系统的变化进行监控,如对文件进行删除、修改等操作,可以及时通知应用程序进行相关事件的处理。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.1 日志收集》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_001.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `8afa9dcf5b4c9e196b165ce3b9b21f2fe08b958d581145c9b3c27976a1ae11e0`)
- 结论依据:原文『通过inotify机制,能够对文件系统的变化进行监控……及时通知应用程序进行相关事件的处理』一句,直接说明以内核事件通知替代文件轮询的机制。
- 原始内容:通过inotify机制,能够对文件系统的变化进行监控,如对文件进行删除、修改等操作,可以及时通知应用程序进行相关事件的处理。