[步骤] Linux 同时按下 “ctrl” 键和 “alt” 键和 “delete” 键关机功能的禁用

步骤一:禁止同时按下 “ctrl” 键和 “alt” 键和 “delete” 键的关机功能

# systemctl disable ctrl-alt-del.target

步骤二:锁定同时按下 “ctrl” 键和 “alt” 键和 “delete” 键的关机功能

# systemctl mask ctrl-alt-del.target

步骤三:查看同时按下 “ctrl” 键和 “alt” 键和 “delete” 键的锁定状态

# systemctl is-enabled ctrl-alt-del.target
masked

(补充:这里的 masked 代表已经锁定)

[步骤] Linux 提高触发 Kdump 的几率

注意:

在提高触发 Kdump 的几率之前要先开启 Kdump:

正文:

步骤一:配置提高触发 Kdump 几率的参数

1.1 配置提高触发 Kdump 几率的参数

# vim /etc/sysctl.conf

添加以下内容:

......
kernel.softlockup_panic = 1

1.2 让刚刚配置的参数生效

# sysctl -p

(注意:此时每有一次软锁都会触发 Kdump)

步骤二:当 Kdmup 触发后分析奔溃的信息

步骤三;删除提高触发 Kdump 几率的参数 (重要)

3.1 删除提高触发 Kdump 几率的参数 (重要)

# vim /etc/sysctl.conf

删除以下内容:

......
kernel.softlockup_panic = 1

3.2 让刚刚删除参数的配置生效 (重要)

# sysctl -p

(注意:此时每有一次软锁都会触发 Kdump)

参考文献:

https://www.suse.com/support/kb/doc/?id=000019217

[步骤] Linux Kdump 内核奔溃信息的分析 (Rocky Linux & RHEL 版)

步骤一:开启 Kdump

1.1 确保 crash 和 kernel-debuginfo 两个软件包已安装

# rpm -qa | grep crash || dnf install crash ; rpm -qa | grep kernel-debug || dnf install kernel-debug

1.2 给 Kdump 分配保留内存

1.2.1 通过在 /etc/default/grub 配置文件里修改 crashkernel 参数
# vim /etc/default/grub

在这一行里:

GRUB_CMDLINE_LINUX_DEFAULT="......"

添加:

GRUB_CMDLINE_LINUX_DEFAULT="...... crashkernel=auto"


补充:这里的 auto 代表系统会根据内存大小自动设置一个值,也可以指定一个值,例如:crashkernel=128M,high、crashkernel=256M,high 等等。如果设置成一个固定值,建议
1) 1 GB 到 4 GB 内存设置成 160 M
2) 4 GB 到 64 GB 内存设置成 192 M
3) 64 GB 到 1 TB 内存设置成 256 M
4) 大于 1 TB 内存设置成 512 M

1.2.2 让刚刚修改的内核参数生效
# grub2-mkconfig -o /boot/grub2/grub.cfg;reboot
1.2.3 显示给 Kdump 预留内存的大小
# makedumpfile --mem-usage /proc/kcore

步骤二:触发 Kdump 内核奔溃

# echo 1 > /proc/sys/kernel/sysrq
# echo c > /proc/sysrq-trigger

步骤三:分析 KDUMP 生成的内核奔溃信息

3.1 进入存放 KDUMP 内核奔溃信息的目录

# cd /var/crash/<date>/

3.2 解析 KDUMP 生成内核崩溃信息

# crash vmlinux-2.6.32.12-0.7-default vmcore

(补充:这里以使用 2.6.32.12-0.7-default 版本的 kernel-debuginfo 解析为例)

3.3 确认生成了 vmlinux-2.6.32.12-0.7-default.gz 压缩包

# ls vmlinux-2.6.32.12-0.7-default.gz

(注意:如果这里生成了 vmlinux-2.6.32.12-0.7-default.gz 压缩包的话,这里会有 vmlinux-2.6.32.12-0.7-default.gz 信息的显示)

(补充:这里以确认 2.6.32.12-0.7-default 版本的 kernel-debuginfo 生成的压缩包为例)

3.4 解压 vmlinux-2.6.32.12-0.7-default.gz 压缩包

# gzip -d vmlinux-2.6.32.12-0.7-default.gz

(补充:这里以解压 2.6.32.12-0.7-default 版本的 kernel-debuginfo 生成的压缩包为例)

3.5 分析 KDUMP 生成的内核奔溃信息

(步骤略)

参考文献:

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html/managing_monitoring_and_updating_the_kernel/analyzing-a-core-dump_managing-monitoring-and-updating-the-kernel

[排错] 解决 Linux 运行时报错 “watchdog: Bug: soft lockup – CPU……” (CPU 软锁)

报错代码

watchdog: Bug: soft lockup - CPU......

分析

当 CPU 的负载过高时,一个 CPU 在运行某一个进程时,在内核模式下超过 20 秒没有回应,则看门狗程序会将系统所有 CPU 软锁住,然后会让这些 CPU 显示各自正在运行的进程堆栈跟踪

缓解方法

方法一:通过 /proc/sys/kernel/watchdog_thresh 文件延长看门狗软锁 CPU 的时间

# echo 20 > /proc/sys/kernel/watchdog_thresh

(补充:这里以将看门狗的值延长到 20 为例,也可以根据自己的需求延长更多,默认值为 10)

方法二:通过新建文件延长看门狗软所 CPU 的时间

2.1 通过新建文件延长看门狗软所 CPU 的时间

# echo "kernel.watchdog_thresh = 20" >> /etc/sysctl.conf

(补充:这里以将看门狗的值延长到 20 为例,也可以根据自己的需求延长更多,默认值为 10)

2.2 让新建文件立刻生效

# sysctl -p /etc/sysctl.conf

深究方法

开启 Kdump,等此报错再次发生时分析 Kdump 在内核崩溃时搜集信息 vmcore