# lsof | more
COMMAND     PID   TID    USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
systemd       1          root  cwd       DIR              251,1      4096          1 /
......

内容二：lsof 命令输出结果简介

1) COMMAND 进程名
2) PID （Process Id） PID 号
3) USER 用户
4) FD 文件描述信息
（补充：cwd 代表当前目录，txt 代表 txt 文件，rtd 代表 root 目录，mem 代表内存映射文件）
5) TYPE 文件类型
（补充：DIR 代表当前目录，REG 代表普通文件，CHR 代表字符，a_inode 代表 Inode 文件，FIFO 代表管道或者 socket文件，netlink 代表网络，unkonwn 代表未知）
6) DEVICE 设备 ID
7) SIZE/OFF 进程大小
8) NODE 文件的 Inode 号
9) NAME 路径或链接

内容三：lsof 使用案例

3.1 案例一：显示已经被删除的文件

# lsof | grep deleted

3.2 案例二：显示用户已打开的案例

3.2.1 显示某用户已打开的文件

# lsof -u zhumingyu mingyuzhu

（补充：这里以显示用户 zhumingyu 和 mingyuzhu 已打开的文件为例）

3.2.2 不显示某用户已打开的文件

# lsof -u mingyuzhu

（补充：这里以不显示用户 mingyuzhu 已打开的文件为例）

3.3 案例三：显示进程已打开的文件

3.3.1 显示某进程已打开的文件

# lsof -p 1024

（补充：这里以显示 PID 号是 1024 已打开的文件为例）

3.3.2 不显示某进程已打开的所有文件

# lsof -p ^1024

（补充：这里以不显示 PID 号是 1024 已打开的文件为例）

3.3.3 显示某几个进程已打开的文件

# lsof -p 1,2,3

（补充：这里以显示 PID 号是 1、2 和 3 已打开的文件为例）

3.4 案例四：显示已打开的网络文件

3.4.1 显示所有已打开的网络文件

# lsof -i

3.4.2 显示所有 IPv4 协议已打开的文件

# lsof -i 4

3.4.3 显示所有 IPv6 协议已打开的文件

# lsof -i 6

3.4.4 显示所有 TCP 协议已打开的文件

# lsof -i TCP

3.4.5 显示所有 TCP 协议已打开的文件

# lsof -i UDP

3.4.6 显示某个 TCP 端口或者 UDP 端口已打开的文件

# lsof -i:22

（补充：这里以显示 TCP 或者 UPD 的 22 端口已打开的文件为例）

3.4.7 显示某个 TCP 端口已打开的文件

# lsof -i TCP:22

（补充：这里以显示 TCP 的 22 端口已打开的文件为例）

3.4.8 显示某几个 TCP 端口打开的文件

# lsof -i TCP:1-1024

（补充：这里以显示 TCP 的 1 端口到 1024 端口打开的文件为例）

如果在系统中没有 /etc/cron.deny 配置文件，在 /etc/cron.allow 配置文件中添加要使用 crontab -e 命令的用户

# vim /etc/cron.allow

添加以下内容：

......
zhumingyu

（补充：这里以添加用户 zhumingyu 为例）

如果在系统中没有 /etc/cron.allow 配置文件，在 /etc/cron.allow 配置文件中删除要使用 crontab -e 命令的用户

# vim /etc/cron.allow

删除以下内容：

......
zhumingyu
......

（补充：这里以删除用户 zhumingyu 为例）

（补充：这里以显示 sosreport 命令所需执行时间为例）

watchdog: Bug: soft lockup - CPU......

分析

当 CPU 的负载过高时，一个 CPU 在运行某一个进程时，在内核模式下超过 20 秒没有回应，则看门狗程序会将系统所有 CPU 软锁住，然后会让这些 CPU 显示各自正在运行的进程堆栈跟踪

缓解方法

方法一：通过 /proc/sys/kernel/watchdog_thresh 文件延长看门狗软锁 CPU 的时间

# echo 20 > /proc/sys/kernel/watchdog_thresh

（补充：这里以将看门狗的值延长到 20 为例，也可以根据自己的需求延长更多，默认值为 10）

方法二：通过新建文件延长看门狗软所 CPU 的时间

2.1 通过新建文件延长看门狗软所 CPU 的时间

# echo "kernel.watchdog_thresh = 20" >> /etc/sysctl.conf

（补充：这里以将看门狗的值延长到 20 为例，也可以根据自己的需求延长更多，默认值为 10）

2.2 让新建文件立刻生效

# sysctl -p /etc/sysctl.conf

深究方法

开启 Kdump，等此报错再次发生时分析 Kdump 在内核崩溃时搜集信息 vmcore

基本信息

作者：朱明宇
名称：批量比较服务器所有正在运行进程的变化
作用：批量比较服务器所有正在运行进程的变化

使用方法

1. 服务器清单 $server_list 每台服务器占用 1 行
2. 在此脚本的分割线内写入相应的内容，并和此脚本放在同一目录下
3. 给此脚本添加执行权限
4. 执行此脚本
5. 此脚本执行完成后，会将运行结果写入当前目录下的 $compare_file 里

脚本分割线里的变量

server_list=server_list.txt #服务器清单
first_time=first_time #存储第一次检结果的目录
second_time=second_time #存储第二次检查结果的目录
compare_file=comparison_results.txt #存储比较结果的文件

注意

此脚本执行前必须要先保证执行本脚本的用户能无密码 ssh 远程这些远程服务器

脚本

#!/bin/bash

####################### Separator ########################

server_list=server_list.txt
first_time=first_time
second_time=second_time
compare_file=comparison_results.txt

####################### Separator ########################

mkdir $first_time &> /dev/null
mkdir $second_time &> /dev/null
echo > $compare_file

read -p "Please input first second or compare now: " choice

check(){
        for server_name in `cat $1`
        do
                ssh -t $server_name "ps -A" | awk '{print $4}' > $2/$server_name
        done
}

compare(){
        for server_name in `cat $1`
        do
                echo $server_name >> $4
                for process in `cat $2/$server_name`
                        do
                        grep $process $3/$server_name &> /dev/null
                        if [ $? -ne 0 ];then
                                echo $process >> $4
                        fi
                done
                echo >> $4
        done
}

if [ $choice == first ];then
        check $server_list $first_time
fi

if [ $choice == second ];then
        check $server_list $second_time
fi

if [ $choice == compare ];then
        compare $server_list $first_time $second_time $compare_file
fi

1.1 进程优先级的作用

进程的真正优先级越小，则此进程则越能优先被执行

1.2 进程优先级和修正值（nice 值）的关系

进程的真正优先级 = 进程默认优先级 + 修正值（nice 值）

1.3 修正值（nice 值）的范围

从 -20 到 +19

内容二：修正值（nice 值）的设置

2.1 设置修正值（nice 值）的格式

# nice -n <correction value> <command>

或者：

# nice --adjustment=<correction value> <command>

或者：

# nice -<correction value> <command>

2.2 设置修正值（nice 值）的案例

# nice -n 10 top

或者：

# nice --adjustment=10 top

或者：

# nice -10 top

（注意：这里的 -10 不是指负数 10 而是指正数 10）

（补充：这里以修正值为 10 启动 top 命令为例）

内容三：显示进程的修正值

# top

或者：

# ps -ef

（
补充：
1) PRI 代表进程默认的优先级
2) NI 代表进程的修正值（nice 值）
3) 进程的真正优先级 = PRI + NI
4) 如果多个进程的真正优先级一样，则 root 用户的进程被优先执行
）

# vim /root/12456.sh

创建以下内容：

#!/bin/bash
for i in {1..5}
do
echo $i
done

（补充：这里以创建 /etc/root/for.sh 脚本为例）

步骤二：创建 systemctl 的管理文件

# vim /etc/systemd/system/12456.service

创建以下内容：

[Unit]
Description=12345
After=default.target

[Service]
Type=oneshot
ExecStart=/root/12456.sh

[Install]
WantedBy=default.target

（补充：这里以创建 /etc/systemd/system/12456.service 来管理 ExecStart=/root/12456.sh 为例）

步骤三：加载刚刚创建的 systemctl 管理文件

# systemctl daemon-reload

步骤四：给 systemctl 的管理文件添加执行权限

# chmod u+x /etc/systemd/system/12456.service

步骤五：通过 systemd 管理脚本

5.1 启动脚本

# systemctl start 12456.service

5.2 关闭脚本

# systemctl stop 12456.service

5.3 重启脚本

# systemctl restart 12456.service

5.4 让脚本开机自启

# systemctl enable 12456.service

# service -–status-all

内容二：启动某一个单元

# service <unit> start

内容三：停止某一个单元

# service <unit> stop

（1）R 处于运行状态或者等待运行状态
（2）S 处于休眠状态
（3）T 处于停止状态或者处于被追踪的状态
（4）Z 处于僵尸进程的状态
（5）W 处于进入内存交换的状态
（6）X 处于被杀死进程的状态
（7）D 处于不可中断的休眠状态

（注意：D 状态通常由存储进程中断导致，无法被 kill 命令杀死，但可以通过重启系统清除）

内容二：Linux 的第二进程状态

（1）< 代表此进程具有高优先级
（2）N 代表此进程具有低优先级
（3）L 代表此进程有些部分被所进了内存
（4）s 代表此进程包含子进程
（5）+ 代表此进程处于后台的状态
（6）l 代表此进程是被克隆出来的多线程

内容三：Linux 显示进程状态的命令

# ps -aux

服务器系统配置好可用的软件源

步骤二：安装 cockpit

# yum -y install cockpit cockpit-dashaboard

（补充：cockpit 是管理单台主机的程序，cockpit-dashaboard 是管理多台主机的程序）

步骤三：启动 cockpit

# systemctl enable --now cockpit.socket

步骤四：登录 cockpit

使用浏览器登录：https://<server/ IP address>:9090

# ps aux

解释:

USER：启动该进程的用户账号名称

PID：该进程在系统中的数字ID号，在当前系统中是唯一的。

TTY：表明该进程在哪个终端上运行。“？”表示未知或者不需要终端。

STAT：显示了进程当前的状态，如S（休眠）、R（运行）、Z（僵死）、<（高优先级）、N（低优先级）、s（父进程）、+（前台进程）。对于僵死的进程，应该手动处理掉。（问：为什么？）

START：启动该进程的时间

TIME：该进程占用CPU的时间

COMMAND：启用该进程的命令名称

%CPU：CPU占用百分比

%MEM：内存占用百分比

VSZ：占用虚拟内存（swap空间）大小

RSS：占用常驻空间（物理内存）的大小

————————————————
版权声明：本文为CSDN博主「秃头阿鑫」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_47763101/java/article/details/106391154

注明：所有转载内容皆直接从被转载文章网页的标题和内容的文本和图片中复制而来

站主补充：
补充一：D 状态的进程
D 状态的进程代表处于不可以被杀死的休眠状态。D 状态的进程就算是用 kill -9 命令也无法杀死

补充二：将 ps 的输出工整
# ps -T

补充三：ps 显示 SELinux 标签
# ps -M
或者：
# ps -Z

# kill --help

内容二：kill 的常用案例

2.1 案例一：强杀某一个 PID 号

# kill -9 <PID number>

或者：

# kill -<kill option> <PID number>

2.2 案例二：正常退出某一个 PID 号

# kill -15 <PID number>

2.3 案例三：杀死某一个进程名称下的所有 PID 号

# killall <process name>

服务器系统配置好可用的软件源

内容二：如果系统中没有此命令，则需要先安装此命令

# yum -y install psmisc

（补充：这里以 CentOS&RHEL 安装 psmisc 为例）

内容三：使用此命令

# pstree

1.1 直接将一个进程放到后台

# firefox&

1.2 将一个目前正在前台运行的进程放到后台

按下 “ctrl” 键和 “z” 键

内容二：显示放入后台的进程

2.1 显示所有放入后台的进程

# jobs

2.2 显示某一个放入后台的进程

2.2.1 显示某一个放入后台进程（通过后台进程号）

# jobs %<background process number>

2.2.2 显示某一个放入后台进程（通过后台进程名）

# jobs %<background process name>

（注意：只有后台进程名唯一时此操作才有效）

内容三：管理放入后台的进程

3.1 在后台启动放入后台的进程

3.1.1 在后台启动放入后台的进程（通过后台进程号）

# bg %<background process number>

（注意：只有可以在后台启动的进程才能在后台启动）

3.1.2 在后台启动放入后台的进程（通过后台进程名）

# bg %<background process name>

（注意：只有可以在后台启动的进程才能在后台启动，且只有后台进程名唯一时此操作才有效）

3.2 在前台启动放入后台的进程

3.2.1 在前台启动放入后台的进程（通过后台进程号）

# fg %<background process number>

3.2.2 在前台启动放入后台的进程（通过后台进程名）

# fg %<background process name>

（注意：只有后台进程名唯一时此操作才有效）

3.3 杀死放入后台的进程

3.3.1 杀死放入后台的进程（通过后台进程号）

# kill %<background process number>

（补充：这里可以配合各种 kill 选项进行操作，例如 kill -9）

3.3.2 杀死放入后台的进程（通过后台进程名）

# kill %<background process name>

（注意：只有后台进程名唯一时此操作才有效）

（补充：这里可以配合各种 kill 选项进行操作，例如 kill -9）

1.1 列出所有 systemctl 可用单元以及是否开机自启

# systemctl list-unit-files

（补充：所有受 systemctl 管理单元的文件都是放在 /usr/lib/systemd/system 目录下的）

1.2 列出所有 systemctl 正在运行的单元

# systemctl list-units

（补充：所有受 systemctl 管理单元的文件都是放在 /usr/lib/systemd/system 目录下的）

1.3 列出所有 systemctl 运行失败的单元

# systemctl --failed

（补充：所有受 systemctl 管理单元的文件都是放在 /usr/lib/systemd/system 目录下的）

1.4 列出所有受 systemctl 管理的服务单元

# systemctl list-units --type service

（
补充：
1) 所有受 systemctl 管理单元的文件都是放在 /usr/lib/systemd/system 目录下的
2) service 是一个个单独的服务
3) target 是包含很多个单独服务（service）的一组服务
）

1.5 列出所有受 systemctl 管理的目标单元

# systemctl list-units --type target

（
补充：
1) 所有受 systemctl 目标管理单元的文件都是放在 /usr/lib/systemd/system 目录下的
2) service 是一个个单独的服务
3) target 是包含很多个单独服务（service）的一组服务
）

内容二：单元的状态显示

# systemctl status <unit>

（
补充：
1) systemctl 的主要状态项有：
Loaded 单元是否已被内存加载
Active 单元是否已成功运行
Main PID 单元主进程的 PID 号
Status 单元的其他相关信息

2) Active 状态项的参数有：
loaded 单元文件已经处理
active（running） 单元正在运行
active（exited）已完成单元的一次性配置
active（waiting）正在等待启动
inactive 没有启动
enabled 将在系统启动时自动启动
disabled 不会在系统启动时自动启动
static 可以被其他单元启动

3) 单元既可以是服务单元也可以是目标单元
）

内容三：单元的启动管理

3.1 启动某一个单元

# systemctl start <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

3.2 停止某一个单元

# systemctl stop <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

3.3 重启某一个单元

# systemctl restart <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

3.3 显示某一个单元是否正在运行

# systemctl is-active <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

3.4 启动并将一个单元设置为开机自启

# systemctl enable --now <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

内容四：单元的开机自启管理

4.1 让某一个单元开机自启

# systemctl enable <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

4.2 取消某一个单元的开机自启

# systemctl disable <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

4.3 显示某一个单元是否是开机自启

# systemctl is-enabled <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

内容五：单元的锁定管理

5.1 锁定某一个单元（禁止其启动）

# systemctl mask <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

5.2 取消某一个单元的锁定（让它可以启动）

# systemctl umask <unit>

（
补充：
1) service 是一个个单独的服务
2) target 是包含很多个单独服务（service）的一组服务
3) 单元既可以是服务单元（service）也可以是目标单元（target）
）

内容六：重新加载某 systemctl 的配置文件

# systemctl daemon-reload

注明：所有转载内容皆直接从被转载文章网页的标题和内容的文本中复制而来

站主补充：
 iotop 还有以下参数
-k, --kilobytes 在非交互的模式下，以 kb 为单位显示
-t, --time 在非交互的模式下，加上时间戳
-q, --quiet 在交互的模式下，禁止头几行，它有三种指定方式
    -q 只有在第一次显示时显示列名
    -qq 永远不显示列名
    -qqq 永远不显示 I/O 汇总的总量

在以上的显示中，主要看%iowait和%idle，%iowait过高表示存在I/O瓶颈，即磁盘I/O无法满足业务需求，如果%idle过低表示CPU使用率比较严重，需要结合内存使用等情况半段CPU是否瓶颈。
2.2 -p:报告每个CPU的状态
    [root@admin ~]# sar -p 1 3 （报告每个CPU的使用状态）

2.3 将统计结果保存在文件中，并从文件读取内容
        [root@admin ~]# sar -u -o /servers/script/sar.txt 2 3 （保存之文件，保存后的文件是二进制的，无法使用vim和cat查看）
        [root@admin ~]# sar -u -f /servers/script/sar.txt （从二进制文件读取）

注：将输出到文件(-o)和读取记录信息(-f)
2.4 -q:查看平均负载
        [root@admin ~]# sar -q 1 3

2.5-r:查看内存使用情况
        [root@admin ~]# sar -r

2.6 -W :查看系统swap分区的统计信息

2.7 -b:查看I/O和传递速率的统计信息
2.8 -d:磁盘使用详细统计
2.9 -v:进程，inode，文件和锁表状态
2.10 -n:统计网络信息
        1） DEV：网络接口统计信息
        2） EDEV：网络接口错误
        3）IP：IP数据报统计信息
        4)：EIP：IP错误统计信息
         5）TCP：TCP统计信息
          6）ETCP：TCP错误统计信息
         7）SOCK：套接字使用

————————————————
版权声明：本文为CSDN博主「喵喵Amy」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/an1415/article/details/80761614

注明：所有转载内容皆直接从被转载文章网页的标题和内容的文本和图片中复制而来

在通过 systemd 管理源码安装的软件或自制 rpm 包安装的软件（以 Nginx 为例）之前，先要源码安装 Nginx 或者自制 rpm 包安装 Nginx

正文：

步骤一：创建 Nginx 的 systemd 文件

# vim /etc/systemd/system/nginx.service 

创建以下内容：

[Unit]

Description=nginx server daemon

Documentation=man:nginx(8)

After=network.target

[Service]

Type=forking

ExecStart=/usr/local/nginx/sbin/nginx

ExecReload=/usr/local/nginx/sbin/nginx -s reload

ExecStop=/usr/local/nginx/sbin/nginx -s stop

PrivateTmp=true

[Install]

WantedBy=multi-user.target

步骤二：导入新创建的 Nginx systemd 配置文件

# systemctl daemon-reload

步骤三：使用 systemd 管理 Nginx

3.1 使用 systemd 启动 Nginx

# systemctl start nginx.service

3.2 使用 systemd 开机自启 Nginx

# systemctl enable nginx.service

3.3 使用 systemd 显示 Nginx 的状态

# systemctl status nginx.service

1.1 编写一个脚本

# vim /etc/init.d/start.sh

创建以下内容：

#!/bin/bash
systemctl start httpd

# chkconfig: 345 85 15
# description: This is a script of starting httpd

（补充：chkconfig:后面的 3 个含义为 httpd 的级别为 3、4 和 5，启动序号为 85，关闭序号为 15）

1.2 给脚本添加执行权限

# chmod +x /etc/init.d/start.sh

1.3 将脚本添加到 chkconfig 中

# chkconfig --add start.sh

1.4 显示刚刚添加到 chkconfig 的应用

# chkconfig --list

案例二：通过 chkconfig 管理一个服务或脚本

2.1 设定 start.sh 在 3 和 5 等级为 on

# chkconfig --level 35 start.sh on

2.2 设定 start.sh 在各等级为 on，“各等级”包括 2、3、4、5 等级

# chkconfig start.sh on

2.3 设定 start.sh 在各等级为 off，“各等级”包括 2、3、4、5 等级

# chkconfig start.sh off

1) /etc/init.d/boot.local
2) /etc/init.d/halt.local
3) /etc/init.d/before.local
4) /etc/init.d/after.local

（
补充：
1) 其中的 boot.local 是在刚开机时，在所有其他的程序执行前执行的文件
2) 其中的 after.local 是在刚开机后，在所有其他的程序执行后执行的文件
）

（注意：上面第三和第四个档案默认是不存在的，可以自己创建一个, 就像写个 shell 一样很简单）

内容二：设置 openSUSE & SLE 开机自启命令的案例

2.1 创建 after.local 文件

# vim /etc/init.d/after.local

创建以下内容：

sudo systemctl restart httpd

（补充：这里以开机自启 httpd 程序为例）

2.2 给 after.local 文件执行权限

# chmod u+x /etc/init.d/after.local