Linux(2)---记录一次线上服务 CPU 100%的排查过程

PU飙升接近100%的原因是因为项目中的websocket时时断开又重连导致CPU飙升接近100% 。如何排查的呢 是通过日志输出错误信息: 得知websocket时时重新 连接的信息,然后找到原因 解决了。 当然这里幸好能通过日志大致分析出原因 那么我就在思考如果日志没有告诉任何信息 但线上CPU还是接近100%那么如何排查呢。所以学习了下排查过程。 通过查阅资料并实践后,这里总结了两种办法。第一种博客满天飞的方法 通过top命令 第二种非常好用 通过大牛写的脚本排查 一、top命令排查 1、命令四部曲 (1)通过top命令,知道CPU最高的进程 top (2)具体查看java中哪个线程一直在占用cpu时间(这里我的java进程号是: 8752) #java进程ID进行CPU占用排查(sort -rn 以数值的方式进行逆序排列) ps -mp 8752 -o THREAD,tid,time | sort -rn | more (3)根据2中查找到的CPU最高的排序中的结果,找出几个占用cpu时间比较高的TID,将线程ID转换为16进制 printf "%x\n" TID (4)再使用jstack命名查询是哪个线程 #8752是java进程ID,6669是第三步线程ID转换的16进制 jstack 8752 |grep 6669 -A 30 2、案例 (1) top命令 (2)ps命令 (3)printf命令 (4)jstack命令 二、show-busy-java-threads.sh脚本 上面的 4 步虽然能够排查问题,但总的还是还是太繁琐耗时了,于是有大神写了个脚本,在有问题的时候一键定位,能够妙计找到问题。这个作者是一个叫淘宝的oldratlee 同学。 1、脚本使用说明 怎么使用呢?可以看作者的GitHub地址中的文档说明,而且里面也有相应脚本:Github 我们可以把这个git项目clone到Linux环境中(说明:目前这个脚本只支持linux环境) git clone https://github.com/oldratlee/useful-scripts.git #将下面下载到linux环境中。 这里也整理一些该脚本的常用命令 show-busy-java-threads.sh # 从 所有的 Java进程中找出最消耗CPU的线程(缺省5个),打印出其线程栈。 show-busy-java-threads.sh -c <要显示的线程栈数> show-busy-java-threads.sh -c <要显示的线程栈数> -p <指定的Java Process> # -F选项:执行jstack命令时加上-F选项(强制jstack),一般情况不需要使用 show-busy-java-threads.sh -p <指定的Java Process> -F show-busy-java-threads.sh -s <指定jstack命令的全路径> # 对于sudo方式的运行,JAVA_HOME环境变量不能传递给root, # 而root用户往往没有配置JAVA_HOME且不方便配置, # 显式指定jstack命令的路径就反而显得更方便了 show-busy-java-threads.sh -a <输出记录到的文件> show-busy-java-threads.sh -t <重复执行的次数> -i <重复执行的间隔秒数> # 缺省执行一次;执行间隔缺省是3秒 ############################## # 注意: ############################## # 如果Java进程的用户 与 执行脚本的当前用户 不同,则jstack不了这个Java进程。 # 为了能切换到Java进程的用户,需要加sudo来执行,即可以解决: sudo show-busy-java-threads.sh 2、案例说明 为了反应真实性,找了个能让CPU飙升100%的代码打包成jar在线上跑,这里采用定时任务让它跑起来。 //java 正则表达式回溯造成 CPU 100% @Service public class GateTrigger { @Scheduled(fixedDelay = 1 * 1000) public void startSummary() { String[] patternMatch = {"([\\w\\s]+)+([+\\-/*])+([\\w\\s]+)", "([\\w\\s]+)+([+\\-/*])+([\\w\\s]+)+([+\\-/*])+([\\w\\s]+)"}; List patternList = new ArrayList(); patternList.add("Avg Volume Units product A + Volume Units product A"); patternList.add("Avg Volume Units / Volume Units product A"); patternList.add("Avg retailer On Hand / Volume Units Plan / Store Count"); patternList.add("Avg Hand Volume Units Plan Store Count"); patternList.add("1 - Avg merchant Volume Units"); patternList.add("Total retailer shipment Count"); for (String s : patternList) { for (int i = 0; i < patternMatch.length; i++) { Pattern pattern = Pattern.compile(patternMatch[i]); Matcher matcher = pattern.matcher(s); System.out.println(s); //CPU飙升根源 if (matcher.matches()) { System.out.println("Passed"); } else System.out.println("Failed;"); } }} } (1)top命令 发现CPU的确飙升了 (2)执行脚本 bash show-busy-java-threads.sh (3)看后台运行结果 ...... 发现一下子就定位问题了,不得不说缺少很方便,快捷。 参考 1、Java死锁排查和Java CPU 100% 排查的步骤整理 2、线上服务 CPU 100%?一键定位 so easy! https://www.cnblogs.com/qdhxhz/p/9998638.html
50000+
5万行代码练就真实本领
17年
创办于2008年老牌培训机构
1000+
合作企业
98%
就业率

联系我们

电话咨询

0532-85025005

扫码添加微信