# systemd-analyze

内容二：显示服务启动时间

# systemd-analyze blame

# lsof | more
COMMAND     PID   TID    USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
systemd       1          root  cwd       DIR              251,1      4096          1 /
......

内容二：lsof 命令输出结果简介

1) COMMAND 进程名
2) PID （Process Id） PID 号
3) USER 用户
4) FD 文件描述信息
（补充：cwd 代表当前目录，txt 代表 txt 文件，rtd 代表 root 目录，mem 代表内存映射文件）
5) TYPE 文件类型
（补充：DIR 代表当前目录，REG 代表普通文件，CHR 代表字符，a_inode 代表 Inode 文件，FIFO 代表管道或者 socket文件，netlink 代表网络，unkonwn 代表未知）
6) DEVICE 设备 ID
7) SIZE/OFF 进程大小
8) NODE 文件的 Inode 号
9) NAME 路径或链接

内容三：lsof 使用案例

3.1 案例一：显示已经被删除的文件

# lsof | grep deleted

3.2 案例二：显示用户已打开的案例

3.2.1 显示某用户已打开的文件

# lsof -u zhumingyu mingyuzhu

（补充：这里以显示用户 zhumingyu 和 mingyuzhu 已打开的文件为例）

3.2.2 不显示某用户已打开的文件

# lsof -u mingyuzhu

（补充：这里以不显示用户 mingyuzhu 已打开的文件为例）

3.3 案例三：显示进程已打开的文件

3.3.1 显示某进程已打开的文件

# lsof -p 1024

（补充：这里以显示 PID 号是 1024 已打开的文件为例）

3.3.2 不显示某进程已打开的所有文件

# lsof -p ^1024

（补充：这里以不显示 PID 号是 1024 已打开的文件为例）

3.3.3 显示某几个进程已打开的文件

# lsof -p 1,2,3

（补充：这里以显示 PID 号是 1、2 和 3 已打开的文件为例）

3.4 案例四：显示已打开的网络文件

3.4.1 显示所有已打开的网络文件

# lsof -i

3.4.2 显示所有 IPv4 协议已打开的文件

# lsof -i 4

3.4.3 显示所有 IPv6 协议已打开的文件

# lsof -i 6

3.4.4 显示所有 TCP 协议已打开的文件

# lsof -i TCP

3.4.5 显示所有 TCP 协议已打开的文件

# lsof -i UDP

3.4.6 显示某个 TCP 端口或者 UDP 端口已打开的文件

# lsof -i:22

（补充：这里以显示 TCP 或者 UPD 的 22 端口已打开的文件为例）

3.4.7 显示某个 TCP 端口已打开的文件

# lsof -i TCP:22

（补充：这里以显示 TCP 的 22 端口已打开的文件为例）

3.4.8 显示某几个 TCP 端口打开的文件

# lsof -i TCP:1-1024

（补充：这里以显示 TCP 的 1 端口到 1024 端口打开的文件为例）

如果在系统中没有 /etc/cron.deny 配置文件，在 /etc/cron.allow 配置文件中添加要使用 crontab -e 命令的用户

# vim /etc/cron.allow

添加以下内容：

......
zhumingyu

（补充：这里以添加用户 zhumingyu 为例）

如果在系统中没有 /etc/cron.allow 配置文件，在 /etc/cron.allow 配置文件中删除要使用 crontab -e 命令的用户

# vim /etc/cron.allow

删除以下内容：

......
zhumingyu
......

（补充：这里以删除用户 zhumingyu 为例）

（补充：这里以显示 sosreport 命令所需执行时间为例）

基本信息

作者：朱明宇
名称：显示系统常用信息
作用：显示系统常用信息

使用方法

1. 在此脚本的分割线内写入相应的内容
2. 给此脚本添加执行权限
3. 执行此脚本

脚本分割线里的变量

1. times=5 #显示系统常用信息的次数
2. sleeptime=0.3 #大部分行与行之间显示的间隔时间

注意

1. 需要安装 sysstat 软件
2. 执行此脚本的用户能够使用 sudo ip a s 命令
3. 执行此脚本的用户能够使用 sudo ss -ntulap 命令
4. 搭建了 KVM 虚拟化平台后执行此脚本的用户能够使用 sudo virsh list 命令后才能实现

脚本

#!/bin/bash

####################### Separator ########################
times=5
sleeptime=0.3
####################### Separator ########################

nowtime=1

while (( nowtime <= times))
do
        echo -e "Start Monitoring: \c"
	for i in {1..94}
	do
	        echo -e "#\c"
		sleep 0.01
        done
	echo

	sleep $sleeptime
        host=`hostname`
        echo -e "Name:\t\t\t\t\t\t\t \033[1m$host\033[0m"

        ip=`sudo ip a s | awk '/[1-2]?[0-9]{0,2}\.[1-2]?[0-9]{0,2}/&&!/127.0.0.1/{print $2}' | awk -F/ '{print $1}'`
	for iip in $(echo $ip)
        do
		sleep $sleeptime
                echo -e "IP Address:\t\t\t\t\t\t \033[1m$iip\033[0m"
        done

        sleep $sleeptime

        cpu=`top -bn 1 | awk -F',' '/^%Cpu/{print $4 }' | awk '{print $1}' | awk '{print 100-$1}'`
        echo -e "CPU Usage (Total):\t\t\t\t\t \033[1m$cpu%\033[0m"

        sleep $sleeptime

        mem=`free | grep Mem | awk '{print $3/$2 * 100.0}' | egrep -o "[1]?[0-9]{0,2}\.[0-9]"`
        echo -e "Memory Usage (Total):\t\t\t\t\t \033[1m$mem%\033[0m"

	directory=`df -h | grep -v run | grep -v boot | awk '$1~/\/dev/{print $6}'`
        for idirectory in `echo $directory`
        do
                sleep $sleeptime
                directoryusage=`df -h | grep -v run | grep -v boot | awk '$1~/\/dev/{print}' | grep $idirectory$ | awk '{print $5}'`
		if [ $idirectory == / -o $idirectory == /sda -o $idirectory == /sdb  ];then
                        echo -e "Directory Usage ($idirectory):\t\t\t\t\t \033[1m$directoryusage\033[0m"
	        else
                        echo -e "Directory Usage ($idirectory):\t\t\t\t \033[1m$directoryusage\033[0m"
		fi
        done

	sudo -l | grep 'virsh list' &> /dev/null
        if [ $? -eq 0 ];then
	        sleep $sleeptime
	        virtual=`sudo virsh list | egrep [0-9] | wc -l`
	        echo -e "Number of Virtual Machines (Total):\t\t\t \033[1m$virtual\033[0m"
        fi

        sleep $sleeptime

        user=`who | wc -l`
        echo -e "Number of User Logins (Total):\t\t\t\t \033[1m$user\033[0m"

        soft=`rpm -qa | wc -l`
        echo -e "Number of Softwares (Total):\t\t\t\t \033[1m$soft\033[0m"

        sleep $sleeptime

        port=`sudo ss -ntulap | wc -l`
        echo -e "Number of Open Ports (Total):\t\t\t\t \033[1m$port\033[0m"

        which sar &> /dev/null
        if [ $? -eq 0 ];then
                networkcard=`ifconfig | awk -F: '/flags/&&!/lo/{print $1}'`
                for inetworkcard in `echo $networkcard`
                do
                        networkread="`sar -n DEV 1 1 | grep $inetworkcard | awk '/[0-9][0-9]:[0-9][0-9]/{print $3/1000}'` m/s"
                        networkwrite="`sar -n DEV 1 1 | grep $inetworkcard | awk '/[0-9][0-9]:[0-9][0-9]/{print $4/1000}'` m/s"
			echo $inetworkcard | grep eth &> /dev/null
			if [ $?  -ne 0 ];then
	                echo -e "Network Card IO ($inetworkcard):\t\t\t\t \033[1m$networkread\033[0m (Read)\t\033[1m$networkwrite\033[0m (Write)"
		        else
	                echo -e "Network Card IO ($inetworkcard):\t\t\t\t\t \033[1m$networkread\033[0m (Read)\t\033[1m$networkwrite\033[0m (Write)"
			fi
                done
        fi

        which iostat &> /dev/null
        if [ $? -eq 0 ];then
	        disk=`iostat -d -k 1 1 | awk '!/^$/&&!/Device/&&!/Linux/{print $1}'`
                for idisk in `echo $disk`
	        do
			sleep $sleeptime
		        diskread="`iostat -d -k 1 1 | grep $idisk |  awk '{print $3/1000}'` m/s"
		        diskwrite="`iostat -d -k 1 1 | grep $idisk |  awk '{print $4/1000}'` m/s"
			echo $idisk | grep 'nvme' &> /dev/null
			if [ $? -eq 0 ];then
		                echo -e "Disk IO (/dev/$idisk):\t\t\t\t\t \033[1m$diskread\033[0m (Read)\t\033[1m$diskwrite\033[0m (Write)"
		        else
		                echo -e "Disk IO (/dev/$idisk):\t\t\t\t\t \033[1m$diskread\033[0m (Read)\t\033[1m$diskwrite\033[0m (Write)"
			fi
	        done

        fi

        echo -e "Complete Monitoring: \c"
        for i in {1..91}
        do
                echo -e "#\c"
                sleep 0.01
        done
        echo
        sleep $sleeptime

        let nowtime++
done

        echo -e "Terminal Monitoring: \c"
        for i in {1..91}
        do
                echo -e "#\c"
                sleep 0.01
        done

exit

watchdog: Bug: soft lockup - CPU......

分析

当 CPU 的负载过高时，一个 CPU 在运行某一个进程时，在内核模式下超过 20 秒没有回应，则看门狗程序会将系统所有 CPU 软锁住，然后会让这些 CPU 显示各自正在运行的进程堆栈跟踪

缓解方法

方法一：通过 /proc/sys/kernel/watchdog_thresh 文件延长看门狗软锁 CPU 的时间

# echo 20 > /proc/sys/kernel/watchdog_thresh

（补充：这里以将看门狗的值延长到 20 为例，也可以根据自己的需求延长更多，默认值为 10）

方法二：通过新建文件延长看门狗软所 CPU 的时间

2.1 通过新建文件延长看门狗软所 CPU 的时间

# echo "kernel.watchdog_thresh = 20" >> /etc/sysctl.conf

（补充：这里以将看门狗的值延长到 20 为例，也可以根据自己的需求延长更多，默认值为 10）

2.2 让新建文件立刻生效

# sysctl -p /etc/sysctl.conf

深究方法

开启 Kdump，等此报错再次发生时分析 Kdump 在内核崩溃时搜集信息 vmcore

基本信息

作者：朱明宇
名称：批量比较服务器所有正在运行进程的变化
作用：批量比较服务器所有正在运行进程的变化

使用方法

1. 服务器清单 $server_list 每台服务器占用 1 行
2. 在此脚本的分割线内写入相应的内容，并和此脚本放在同一目录下
3. 给此脚本添加执行权限
4. 执行此脚本
5. 此脚本执行完成后，会将运行结果写入当前目录下的 $compare_file 里

脚本分割线里的变量

server_list=server_list.txt #服务器清单
first_time=first_time #存储第一次检结果的目录
second_time=second_time #存储第二次检查结果的目录
compare_file=comparison_results.txt #存储比较结果的文件

注意

此脚本执行前必须要先保证执行本脚本的用户能无密码 ssh 远程这些远程服务器

脚本

#!/bin/bash

####################### Separator ########################

server_list=server_list.txt
first_time=first_time
second_time=second_time
compare_file=comparison_results.txt

####################### Separator ########################

mkdir $first_time &> /dev/null
mkdir $second_time &> /dev/null
echo > $compare_file

read -p "Please input first second or compare now: " choice

check(){
        for server_name in `cat $1`
        do
                ssh -t $server_name "ps -A" | awk '{print $4}' > $2/$server_name
        done
}

compare(){
        for server_name in `cat $1`
        do
                echo $server_name >> $4
                for process in `cat $2/$server_name`
                        do
                        grep $process $3/$server_name &> /dev/null
                        if [ $? -ne 0 ];then
                                echo $process >> $4
                        fi
                done
                echo >> $4
        done
}

if [ $choice == first ];then
        check $server_list $first_time
fi

if [ $choice == second ];then
        check $server_list $second_time
fi

if [ $choice == compare ];then
        compare $server_list $first_time $second_time $compare_file
fi

1.1 进程优先级的作用

进程的真正优先级越小，则此进程则越能优先被执行

1.2 进程优先级和修正值（nice 值）的关系

进程的真正优先级 = 进程默认优先级 + 修正值（nice 值）

1.3 修正值（nice 值）的范围

从 -20 到 +19

内容二：修正值（nice 值）的设置

2.1 设置修正值（nice 值）的格式

# nice -n <correction value> <command>

或者：

# nice --adjustment=<correction value> <command>

或者：

# nice -<correction value> <command>

2.2 设置修正值（nice 值）的案例

# nice -n 10 top

或者：

# nice --adjustment=10 top

或者：

# nice -10 top

（注意：这里的 -10 不是指负数 10 而是指正数 10）

（补充：这里以修正值为 10 启动 top 命令为例）

内容三：显示进程的修正值

# top

或者：

# ps -ef

（
补充：
1) PRI 代表进程默认的优先级
2) NI 代表进程的修正值（nice 值）
3) 进程的真正优先级 = PRI + NI
4) 如果多个进程的真正优先级一样，则 root 用户的进程被优先执行
）

# system-analyze

内容二：显示某一个服务启动的时间

# system-analyze <service>

# free -m

内容二：Linux 内存机制

1) total 内存的总大小
2) used 正在被使用的内存大小
3) free 没有被使用的内存大小
4) shared 正在被多个进程共享的内存大小
5) buffers 内存中被系统分配但是还没有被使用的 buffers 大小。这些数据暂时存储在内存中，当下次再此使用时可以在内存中被快速调用。buffers （buffer page） 代表块设备 （硬盘等设备） 所占用的缓存页，对应从硬盘中直接获取的数据，处于内存和硬盘之间，由内核使用 （当 free 状态的内存不够时，它会自动释放出来，也可以手动释放出来）
6) cached 内存中被系统分配但是还没有被使用的 cached 大小。这些数据暂时存储在内容中，当下次再此使用时可以在内存中被快速调用。cached （cache page） 代表普通文件数据 （硬盘里的数据） 所占用的缓存页，对应 vfs 页缓冲层的数据，处于内存和 CPU （处理器） 之间，由应用程序使用 （当 free 状态的内存不够时，它会自动释放出来，也可以手动释放出来）
7) -buffers/cached = used – buffers – cached，也就是真实的内存使用量
8) +buffers/cached = free + buffers + cached，也就是真实的内存剩余量
9) available = free + buffers + cached，也就是真实的内存剩余量

（
补充：释放处于 buffers 和 cached 状态内存的方法

1) 释放 page cache：

# echo 1 > /proc/sys/vm/drop_caches

2) 释放 dentries 和 inodes：

# echo 2 > /proc/sys/vm/drop_caches

3) 同时释放 pagecache、dentries 和 inodes：

# echo 3 > /proc/sys/vm/drop_caches

）

基本信息

名称：检测服务器 CPU 占用率并报警写入日志
作用：检测服务器 CPU 占用率并报警写入日志

使用方法

1. 在此脚本的分割线内写入相应的内容
2. 给此脚本添加执行权限
3. 将此脚本添加到周期性计划任务里
4. 如果 CPU 占用率超过了报警值则将报警信息写入 /var/log/message

脚本分割线里的变量

cputhreshold=95 #CPU 报警的占比值

脚本

#!/bin/bash

####################### Separator ########################
cputhreshold=95
####################### Separator ########################

cpumonitor() {
cpu=`top -n 1 -b | grep Cpu | awk -F, '{print $1}'| awk -F: '{print $2}'| awk '{print $1}'`

if [ `echo "$cpu > $1"|bc` -ne 0 ]
then
        logger "CPU_Alarm CPU until $cpu"
fi
}

cpumonitor $cputhreshold

Essential Information

Author: Mingyu Zhu
Name: view the process using swap
Function: view the process using swap

Usage

1. Add execution permission to this script
2. Execute the script

Script

#!/bin/bash

i=1

while [ $i -le 100 ]
do free -m
        sleep 15
        let i=i+1
done

# vim /root/12456.sh

创建以下内容：

#!/bin/bash
for i in {1..5}
do
echo $i
done

（补充：这里以创建 /etc/root/for.sh 脚本为例）

步骤二：创建 systemctl 的管理文件

# vim /etc/systemd/system/12456.service

创建以下内容：

[Unit]
Description=12345
After=default.target

[Service]
Type=oneshot
ExecStart=/root/12456.sh

[Install]
WantedBy=default.target

（补充：这里以创建 /etc/systemd/system/12456.service 来管理 ExecStart=/root/12456.sh 为例）

步骤三：加载刚刚创建的 systemctl 管理文件

# systemctl daemon-reload

步骤四：给 systemctl 的管理文件添加执行权限

# chmod u+x /etc/systemd/system/12456.service

步骤五：通过 systemd 管理脚本

5.1 启动脚本

# systemctl start 12456.service

5.2 关闭脚本

# systemctl stop 12456.service

5.3 重启脚本

# systemctl restart 12456.service

5.4 让脚本开机自启

# systemctl enable 12456.service

oom-killer ......

或者：

Out of memory: Kill process ......

或者：

mems_allowed=0

分析

1) 系统出现了内存不足的情况
2) 占用内存最大的进程被系统杀死了

解决方法

1) 增加内存
2) 限制应用可使用的最大内存

服务器系统要配置好可用的软件源

步骤二：安装 tuned 系统优化软件

# yum -y install tuned

步骤三：显示 tuned 推荐的优化模式

# tuned-adm recommend
virtual-guest

步骤四：切换至 tuned 推荐的优化模式

# tuned-adm profile virtual-guest

步骤五：显示当前的优化模式

# tuned-adm active
Current active profile: virtual-guest

补充：取消 tuned 系统优化的方法

# tuned-adm off

# service -–status-all

内容二：启动某一个单元

# service <unit> start

内容三：停止某一个单元

# service <unit> stop

（1）R 处于运行状态或者等待运行状态
（2）S 处于休眠状态
（3）T 处于停止状态或者处于被追踪的状态
（4）Z 处于僵尸进程的状态
（5）W 处于进入内存交换的状态
（6）X 处于被杀死进程的状态
（7）D 处于不可中断的休眠状态

（注意：D 状态通常由存储进程中断导致，无法被 kill 命令杀死，但可以通过重启系统清除）

内容二：Linux 的第二进程状态

（1）< 代表此进程具有高优先级
（2）N 代表此进程具有低优先级
（3）L 代表此进程有些部分被所进了内存
（4）s 代表此进程包含子进程
（5）+ 代表此进程处于后台的状态
（6）l 代表此进程是被克隆出来的多线程

内容三：Linux 显示进程状态的命令

# ps -aux

服务器系统配置好可用的软件源

步骤二：安装 cockpit

# yum -y install cockpit cockpit-dashaboard

（补充：cockpit 是管理单台主机的程序，cockpit-dashaboard 是管理多台主机的程序）

步骤三：启动 cockpit

# systemctl enable --now cockpit.socket

步骤四：登录 cockpit

使用浏览器登录：https://<server/ IP address>:9090

# ps aux

解释:

USER：启动该进程的用户账号名称

PID：该进程在系统中的数字ID号，在当前系统中是唯一的。

TTY：表明该进程在哪个终端上运行。“？”表示未知或者不需要终端。

STAT：显示了进程当前的状态，如S（休眠）、R（运行）、Z（僵死）、<（高优先级）、N（低优先级）、s（父进程）、+（前台进程）。对于僵死的进程，应该手动处理掉。（问：为什么？）

START：启动该进程的时间

TIME：该进程占用CPU的时间

COMMAND：启用该进程的命令名称

%CPU：CPU占用百分比

%MEM：内存占用百分比

VSZ：占用虚拟内存（swap空间）大小

RSS：占用常驻空间（物理内存）的大小

————————————————
版权声明：本文为CSDN博主「秃头阿鑫」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_47763101/java/article/details/106391154

注明：所有转载内容皆直接从被转载文章网页的标题和内容的文本和图片中复制而来

站主补充：
补充一：D 状态的进程
D 状态的进程代表处于不可以被杀死的休眠状态。D 状态的进程就算是用 kill -9 命令也无法杀死

补充二：将 ps 的输出工整
# ps -T

补充三：ps 显示 SELinux 标签
# ps -M
或者：
# ps -Z

# kill --help

内容二：kill 的常用案例

2.1 案例一：强杀某一个 PID 号

# kill -9 <PID number>

或者：

# kill -<kill option> <PID number>

2.2 案例二：正常退出某一个 PID 号

# kill -15 <PID number>

2.3 案例三：杀死某一个进程名称下的所有 PID 号

# killall <process name>