Skip to content

十四、故障排查图谱 ​

所有路径都从现象(Symptom)出发,不从猜测的原因出发。候选原因只有在日志、指标、组件状态或可重复实验支持后才能确认为根因。

故障现象首要指标关联组件首个工具
CPU 使用率高linux.metric.cpu_utilizationCPU、运行队列与上下文切换perf
Load Average 高linux.metric.load_averageCPU 调度、优先级与负载vmstat
内存持续增长linux.metric.process_rss栈、堆、匿名内存与文件映射pmap
OOM Killlinux.metric.memory_psiOOM 与内存控制dmesg
Swap 使用异常linux.metric.swap_in_out页缓存、回收与 Swapvmstat
磁盘空间不足linux.metric.disk_usageext4、XFS、Btrfs、tmpfs 与 procfsdf
Inode 耗尽linux.metric.inode_usageInode、Dentry 与文件描述符df
磁盘 I/O 延迟高linux.metric.io_latency块设备与块层iostat
文件描述符耗尽linux.metric.fd_countInode、Dentry 与文件描述符lsof
僵尸进程过多linux.metric.run_queue退出、僵尸与子进程回收ps
服务启动失败linux.metric.service_failures服务生命周期systemctl
端口无法访问linux.metric.socket_count网络栈、网卡与 Socketss
DNS 解析异常linux.metric.packet_dropsIPv4/IPv6、邻居、路由、DNS 与 DHCPresolvectl
TCP 连接过多linux.metric.socket_countTCP、UDP 与连接状态ss
丢包、重传与网络延迟linux.metric.tcp_retransTCP、UDP 与连接状态nstat
SSH 无法登录linux.metric.auth_failuressudo、PAM 与 SSHjournalctl
权限拒绝linux.metric.auth_failuresUID、GID、权限、Umask 与 ACLausearch
容器资源受限linux.metric.cgroup_pressureCgroup v2 与资源控制systemd_cgtop

通用证据顺序 ​

  1. 记录影响范围、起始时间、业务症状和最近变更。
  2. 确认主机、容器、Namespace、Cgroup 和用户身份作用域。
  3. 先看多周期指标,再定位进程、连接、文件或设备。
  4. 用日志、系统调用或内核追踪验证候选原因。
  5. 先缓解、后根治、再以同口径回归;保留回滚路径。

全部故障节点 ​

ICP 备案号待补充 · Gitee 主页