核心内容摘要
坐在面前：一场关于灵魂、秩序与权力的静默博弈
服务器卡顿很大一部分时候都和CPU 性能瓶颈有关尤其是线上环境突然响应慢、卡顿、甚至假死时第一反应往往是“CPU 是不是爆了”。
下面用最实操的思路、步骤和命令带你从“现象 → 定位 → 根因 → 优化”完整走一遍。
适用于 CentOS / Ubuntu / Rocky / Debian 等主流发行版
年环境通用。
第一步快速 60 秒诊断先判断是不是 CPU 问题敲下面这组命令复制粘贴执行60 秒内基本能看出 CPU 是否真的饱和、是哪个方向的问题。
#
系统负载 运行时间最先看uptime#
整体 CPU 使用率 每个核分布sysstat 包里的 mpstatmpstat -P ALL15# 每秒采样 5 次看每个核心的 %usr %sys %iowait %idle#
进程级 CPU 占用top 加强版top# 按 P 按 CPU 降序按 1 看每个核按 H 看线程级# 或者更轻量实时看进程/线程pidstat15# 每秒显示一次进程 CPU 使用需 sysstat 包#
经典 vmstat 一眼三行CPU 内存 上下文切换vmstat15重点看这几个指标怎么判断指标含义异常阈值建议可能问题方向load average1/5/15min 平均可运行不可中断进程数 核数 ×
5–2 持续高系统整体超载%usr用户态 CPU业务代码、应用70–80% 持续业务逻辑 / 死循环 / 计算密集%sys内核态 CPU系统调用、调度、驱动30–40% 持续频繁系统调用 / 锁竞争 / 网络/IO%iowait等待 IO 的 CPU20–30% 持续磁盘/网络 IO 瓶颈伪 CPU 高%idle真正空闲10–20% 持续CPU 真饱和context switches (vmstat cs)上下文切换次数/秒 几千–上万持续线程/进程过多、锁竞争如果 %idle 很低 load 高 → CPU 真饱和继续往下查。
如果 %iowait 高 → 先别纠结 CPU去查磁盘/网络。
第二步定位“罪魁祸首”进程 / 线程# 按 CPU 降序看前 10 个吃 CPU 的进程top-b -n1-o %CPU|head-n20# 或者直接用 pidstat 更清晰pidstat -u110# 每秒采样 10 次pidstat -u -t15# 显示线程级-t 超级有用# 找出 PID 后看它的线程谁在吃 CPUtop-H -pPID# -H 显示线程-p 只看这个进程常见吃 CPU 的进程类型java / python / node / php-fpm → 业务代码问题mysqld / redis-server → 慢查询 / 大 keynginx / envoy → 高并发连接处理kswapd0 / jbd2 → 内存压力导致假象unknown / [kworker] → 内核线程驱动、加密等第三步深入根因分析分场景用不同工具场景推荐工具 命令示例看什么 / 判断标准业务代码死循环 / 热点函数perf top / perf record -p PID -g – sleep 30 ; perf report火焰图中业务函数占比 60–70%Java 应用 CPU 高jstack PID jstack.txt ; 看 RUNNABLE 线程栈某个方法反复出现频繁系统调用 / 锁竞争strace -p PID -c 或 perf record -e syscalls:*futex / poll / read 高频短时进程 / fork 炸弹execsnoop-bpfcc 或 perf record --all-cpus -e sched:*大量 sched_process_exec 事件内核态高%sys 高perf top -a 或 sar -P ALL 1 5kernel 函数占比高如 tcp/udp 处理挖矿 / 恶意程序top ps auxf ; lsof -p PID ; strings /proc/PID/exe进程名奇怪、连矿池 IP火焰图生成快速三步最推荐可视化方式# 安装大部分系统已有 perf# Ubuntu/Debian: sudo apt install linux-tools-common linux-tools-$(uname -r)# CentOS/RHEL: sudo yum install perfperf record -F99-p高CPU的PID-g --sleep30perf scriptout.perf# 下载 out.perf 到本地用 https://www.brendangregg.com/FlameGraph/flamegraph.pl 生成火焰图# 或服务器直接gitclone https://github.com/brendangregg/FlameGraphcdFlameGraph ./stackcollapse-perf.pl../out.perfout.folded ./flamegraph.pl out.foldedflame.svg火焰图宽的地方 热点宽度越大越耗 CPU第四步常见 10 大 CPU 高根因 快速应对
实测高频死循环 / 无限递归 → strace/perf 定位 → 修代码低效算法 / 全表扫描 → 火焰图看热点函数 → 加缓存 / 优化逻辑高并发锁竞争 → strace 看 futex 调用 → 细粒度锁 / 无锁结构GC 频繁Java → jstat -gcutil 看 Full GC → 调 JVM 参数慢查询 / 大 key数据库 → 业务进程 CPU 高 → 查 DB 慢日志短时高频 fork/exec → execsnoop 确认 → 限流 / 改写脚本网络洪水 / DDoS → %sys 高 sar -n DEV 看包量 → 加 WAF / 限速挖矿木马 → top 看到奇怪进程 → kill 查入侵内存 swapping 导致假高 → vmstat si/so 0 → 加内存 / 降 oom驱动 / 内核 bug → %sys 高 dmesg 有异常 → 更新内核最后口诀背下来排查快 3 倍“uptime 看负载 → mpstat 看核分布 → top/pidstat 找进程 → perf/strace 深挖热点 → 火焰图确认函数 → 针对性优化”服务器卡顿时先别急着重启或加机器80% 的情况用上面 3–5 个命令就能定位 80% 的根因。
你现在遇到的是哪种情况CPU 使用率高但 load 不高某个特定进程如 java吃满全核都 100%还是 %iowait 很高贴一下top、mpstat 1