从人工智能部署中获取最大价值

Load高 & CPU高

这是我们最常遇到的一类情况，即load上涨是CPU负载上升导致。根据CPU具体资源分配表现，可分为以下几类：

CPU sys高

这种情况CPU主要开销在于系统内核，可进一步查看上下文切换情况。

• 如果非自愿上下文切换较多，说明CPU抢占较为激烈，大量进程由于时间片已到等原因，被系统强制调度，进而发生的上下文切换。
• 如果自愿上下文切换较多，说明可能存在I/O、内存等系统资源瓶颈，大量进程无法获取所需资源，导致的上下文切换。

CPU si高

这种情况CPU大量消耗在软中断，可进一步查看软中断类型。一般而言，网络I/O或者线程调度引起软中断最为常见：

• NET_TX & NET_RX。NET_TX是发送网络数据包的软中断，NET_RX是接收网络数据包的软中断，这两种类型的软中断较高时，系统存在网络I/O瓶颈可能性较大。
• SCHED。SCHED为进程调度以及负载均衡引起的中断，这种中断出现较多时，系统存在较多进程切换，一般与非自愿上下文切换高同时出现，可能存在CPU瓶颈。

CPU us高

这种情况说明资源主要消耗在应用进程，可能引发的原因有以下几类：

• 死循环或代码中存在CPU密集计算。这种情况多核CPU us会同时上涨。
• 内存问题，导致大量FULLGC，阻塞线程。这种情况一般只有一核CPU us上涨。
• 资源等待造成线程池满，连带引发CPU上涨。这种情况下，线程池满等异常会同时出现。

Load高 & CPU低

这种情况出现的根本原因在于不可中断睡眠态(TASK_UNINTERRUPTIBLE)进程数较多，即CPU负载不高，但I/O负载较高。可进一步定位是磁盘I/O还是网络I/O导致。

三 排查策略

利用现有常用的工具，我们常用的排查策略基本如下图所示：
 

• us：用户进程空间中未改变过优先级的进程占用CPU百分比
• sy：内核空间占用CPU百分比
• ni：用户进程空间内改变过优先级的进程占用CPU百分比
• id：空闲时间百分比
• wa：空闲&等待I/O的时间百分比
• hi：硬中断时间百分比
• si：软中断时间百分比
• st：虚拟化时被其余VM窃取时间百分比

这8类分片中，除wa和id外，其余分片CPU都处于工作态。

二 资源&瓶颈分析

从上文我们了解到，Load Average和CPU使用率可被细分为不同的子域指标，指向不同的资源瓶颈。总体来说，指标与资源瓶颈的对应关系基本如下图所示。

（编辑：济南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!