知识卡片
Tomcat假死故障案例:Acceptor线程退出导致无法接收新连接
某次业务系统升级中,运维启动Tomcat后,由于业务需要执行大文件加载操作,导致JVM出现长时间的Full GC;GC结束后Tomcat出现”假死”现象——不再接收任何用户请求。这个案例的价值不在于故障本身,而在于展示了一套系统性的排查路径:先查Tomcat的server.xml确认使用的是BIO模型;用jstack pid查看线程堆栈,发现线程池中的工作线程全部处于Waiting状态(这只说明”工作线程闲着没活干”,还没定位到根因);用Arthas的dashboard命令查看JVM大盘数据,未发现明显异常;用curl访问时发现访问日志中完全没有任何访问记录(这是关键线索——说明请求压根没有被Tomcat接收到,问题不在业务处理环节,而在更靠前的连接接入环节);用strace -p跟踪系统调用和信号,无果;最后再次执行jstack pid | grep -a http,才发现Tomcat的Acceptor线程根本不存在。找到这个关键事实后,整条因果链就通顺了:Acceptor线程的职责是监听客户端的Socket连接、并把成功建立的连接传递给线程池中的工作线程;由于Acceptor线程意外退出,Tomcat根本无法监听新的会话连接,所以自然也就不会有新请求进入、工作线程自然全部处于空闲等待状态。这个排查过程揭示了一条重要的诊断方法论:当多种常规排查手段(线程堆栈、监控大盘、系统调用跟踪)都指向”看起来一切正常但就是不工作”时,最有价值的线索往往来自对”预期该发生但没有发生的事情”的观察——本案例中”访问日志完全没有记录”这个否定性线索,恰恰是定位到”负责接入连接的组件本身缺失”这个真正根因的关键突破口。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《超大流量分布式系统架构解决方案:人人都是架构师2.0》附录《定位线上问题的一些手段分享》(源文件:OEBPS/Text/0011.xhtml)
- 结论依据:原文详述排查步骤,最终结论"既然未发现Tomcat的Acceptor线程,那么就能合理解释为什么Tomcat线程池中的工作线程全部处于Waiting状态了。Acceptor线程的主要任务是负责监听客户端的Socket连接……由于Acceptor 线程遭遇意外退出,Tomcat 无法监听会话连接,所以自然也就不再接收任何请求了",直接支撑本卡片结论。
- 原始内容:既然未发现Tomcat的Acceptor线程,那么就能合理解释为什么Tomcat线程池中的工作线程全部处于Waiting状态了。Acceptor线程的主要任务是负责监听客户端的Socket连接,并将成功建立连接的Socket传递给线程池中的工作线程,但由于Acceptor线程遭遇意外退出,Tomcat无法监听会话连接。