知识卡片

普通读书笔记卡

分区会耗尽文件描述符

理解等级:中级

分区副本需要打开日志及相关文件,分区数量过大时,broker 可能先碰到文件描述符限制,而不是 JVM 堆内存上限。排查这类启动或建分区故障,应结合 Too many open files 日志、Kafka 进程当前打开的描述符数量及其实际限额判断。书中单节点实验里,增加一个分区后描述符数从 194 变为 195;随后升到 4095,再建一个分区时进程消失。这个“一分区多一个描述符”只是该环境的观测值,不是通用换算公式。软限制是当前执行的限制,硬限制约束可调高的范围;调整系统限额要核对目标进程是否实际获得新配置,单纯增大堆内存无法解决此错误。参见[[副本才是物理实体]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第4章《主题与分区》4.4.3「分区数的上限」(`_epub-src/OEBPS/Text/chapter5.xhtml`;错误日志 `169_1.jpg`、限额 `169_2.jpg`、进程描述符计数 `170_2.jpg`–`171_1.jpg`) - 结论依据:日志截图报 `Too many open files`;正文和截图给出描述符数随建分区从 194 到 195、1024、4095 的变化及下一分区创建后进程消失,并区分软硬限制。截图中的 shell 软限制为 1024,而既有进程后来达到 4095,故不能直接拿当前 shell 显示值认定该进程的实际限额;这也限制了实验数值的外推。 - 原始内容:异常中最关键的信息是“Too many open flies”,这是一种常见的Linux系统错误,通常意味着文件描述符不足……可以看到增加了一个分区,对应的也只增加了一个文件描述符……Kafka进程依旧完好,文件描述符占用为4095,逼近最高值4096。