服务器突发故障处理：从快速排查到业务恢复全流程实操指南

第一步：1分钟初步定位故障大类

发生服务器故障后，首先通过SSH远程登录Linux服务器（占90%以上生产场景），打开本地终端直接执行命令：

``` ssh 你的服务器账号@你的服务器公网IP -p 你的SSH端口 默认SSH端口为22，可省略-p参数 ```

登录成功后，立即执行3个基础命令，快速定位故障方向：

• 查看系统负载：执行top -bn1，看第一行load average，如果三个值都大于服务器CPU核心数，说明是负载过高故障
• 查看磁盘容量：执行df -h，看根分区/的使用率，如果超过90%，说明是磁盘占满故障
• 检查网络连通：执行ping 114.114.114.114 -c 3，如果丢包率超过50%，说明是网络类故障

第二步：常见故障针对性处理

场景1：系统负载过高故障

执行top命令，按P键按CPU使用率排序，找到占用资源最高的异常进程，记录进程ID（PID），按以下步骤处理：

• 如果是非核心业务进程：直接杀死进程恢复系统，执行命令： ``` kill -9 你的异常进程PID 若进程无法杀死，先查询父进程ID再杀死父进程 ps -ef | grep 异常PID | awk '{print $3}' kill -9 查到的父进程ID ```
• 如果是核心业务进程（如Java、Nginx）：先导出故障信息留痕，再重启进程，可直接复制命令： ``` Java进程导出堆快照用于后续排查 jmap -dump:format=b,file=/tmp/heap_$(date +%Y%m%d).hprof 进程PID 以systemd管理的Nginx为例，重启核心进程 systemctl restart nginx ```

处理完成后，再次执行top -bn1确认负载降到CPU核心数以下，即可完成恢复。

场景2：磁盘占满故障

确认根分区占满后，执行以下命令快速找到占用空间最大的文件：

``` 列出根分区下所有大于100M的文件，按大小倒序排序 find / -type f -size +100M -exec ls -lh {} \; | sort -k5 -hr | head -20 ```

• 如果是业务日志过大：直接清空文件不要删除（删除会导致进程句柄不释放，空间无法释放），执行命令： ``` > /你的日志路径/xxx.log ``` 清空后重新加载日志配置：Nginx执行kill -USR1 `cat /var/run/nginx.pid`，Java应用无需额外操作。
• 如果是临时文件占用：删除/tmp目录下超过7天未访问的临时文件，执行命令： ``` find /tmp -type f -atime +7 -delete ```

处理完成后执行df -h确认根分区使用率降到80%以下即可。

场景3：网络连通故障

首先检查服务器本地防火墙规则，执行对应命令查看开放端口：

``` CentOS/RHEL系 firewall-cmd --list-ports Debian/Ubuntu系 ufw status ```

• 如果业务端口不在开放列表中，添加规则并永久生效，以80端口为例： ``` CentOS/RHEL系 firewall-cmd --add-port=80/tcp --permanent firewall-cmd --reload Debian/Ubuntu系 ufw allow 80/tcp ufw reload ```
• 如果是云服务器外网无法访问：登录云服务商控制台，找到对应实例的安全组配置，添加入方向规则允许业务端口访问即可。

第三步：故障恢复后验证与留痕

故障处理完成后，必须完成两步验证确保业务完全恢复：

• 业务层验证：用curl调用业务接口，确认返回正常： ``` curl -I https://你的业务域名 响应头返回状态码200即为正常 ```
• 系统层留痕：导出系统日志用于后续根因分析，执行命令： ``` journalctl > /var/log/fault_$(date +%Y%m%d).log ``` 同时记录故障时间、现象、处理过程和结果，方便后续复盘优化。

第四步：临时故障预防优化

故障恢复后，添加两个简单配置即可避免80%同类故障重复发生，全部可直接复制执行：

• 开启自动日志切割：编辑/etc/logrotate.d/nginx（其他应用修改路径即可），填入完整配置： ``` /var/log/nginx/log { daily rotate 10 missingok notifempty compress sharedscripts postrotate [ -s /run/nginx.pid ] && kill -USR1 `cat /run/nginx.pid` endscript } ``` 配置会自动每日切割压缩日志，只保留10天日志，从根源避免日志占满磁盘。
• 配置自动负载告警：一键安装简单的告警脚本，每5分钟检查一次系统状态，异常发邮件提醒： ``` wget https://gitee.com/llh/public/raw/master/server-alert.sh -O /root/server-alert.sh chmod +x /root/server-alert.sh echo "/5 /root/server-alert.sh 你的告警邮箱" >> /var/spool/cron/root ```

按照以上流程操作，普通故障从排查到恢复一般不超过10分钟，所有命令和配置都可以直接复制使用，不需要额外修改适配。