1.1 在 audit 添加监控 SELinux 配置文件的规则

# vim /etc/audit/rules.d/audit.rules

添加以下内容：

......
-w /etc/selinux/ -p wa -k MAC-policy
-w /usr/share/selinux/ -p wa -k MAC-policy

1.2 让添加的监控 SELinux 配置文件的规则生效

# service auditd restart

1.3 确认添加的监控 SELinux 配置文件的规则已生效

# auditctl -l | grep -i selinux

内容二：监控 AppArmor 配置文件

2.1 在 audit 添加监控 AppArmor 配置文件的规则

# vim /etc/audit/rules.d/audit.rules

添加以下内容：

......
-w /etc/apparmor/ -p wa -k MAC-policy
-w /etc/apparmor.d/ -p wa -k MAC-policy

2.2 让添加的监控 AppArmor 配置文件的规则生效

# service auditd restart

2.3 确认添加的监控 AppArmor 配置文件的规则已生效

# auditctl -l | grep -i apparmor

1.1 设置 audit 日志的保存时间

# vim /etc/audit/auditd.conf

确保部分内容如下：

......
local_events = yes
......
write_logs = yes
......
log_file = /var/log/audit/audit.log
......
max_log_file = 8
......
num_logs =5
......
max_log_file_action = ROTATE
......

（
补充：这里以
1) 开启 audit 日志 （local_events = yes） （write_logs = yes）
2) 将 audit 日志写入 /var/log/audit/audit.log 文件 （log_file = /var/log/audit/audit.log）
3) audit 日志每达到 8M 大小就将旧的 audit 日志进行备份并创建新的 audit 日志 （max_log_file = 8） （max_log_file_action = ROTATE），也可以修改成： max_log_file_action = keep_logs
4) 旧的 audit 日志保存 5 份 （num_logs =5）
为例
）

1.2 让设置的 audit 时间生效

# service auditd restart

方法二：通过 logrotate 配置文件设置

2.1 设置 audit 日志的保存时间

# vim /etc/logrotate.d/auditd

创建以下内容：

/var/log/audit/*
{
rotate 30
daily
missingok
compress
delaycompress
postrotate
touch /var/log/audit/audit.log ||:
chmod 0600 /var/log/audit/audit.log ||:
service auditd restart
endscript
}

（
补充：这里以：
1) 备份的日志文件保留 30 份 （rotate 30）
2) 每天将现在的日志文件进行备份并生成新的日志文件 （dayly）
）

2.2 让设置的 audit 时间生效

# systemctl restart logrotate.service

# vim time_format_conversion.pl

创建以下内容：

s/(1\d{9})/localtime($1)/e

（补充：这里以创建名为 time_format_conversion.pl 的用于转换 audit 日志时间格式的脚本为例）

步骤二：转换 audit 日志时间格式

# cat /var/log/audit/audit.log | perl -p time_format_conversion.pl

或者：

# less /var/log/audit/audit.log | perl -p time_format_conversion.pl

或者：

# more /var/log/audit/audit.log | perl -p time_format_conversion.pl

或者：

# head /var/log/audit/audit.log | perl -p time_format_conversion.pl

或者：

# tail /var/log/audit/audit.log | perl -p time_format_conversion.pl

或者：

# tail -f /var/log/audit/audit.log | perl -p time_format_conversion.pl

（补充：这里以使用名为 time_format_conversion.pl 的用于转换 audit 日志时间格式的脚本为例）

1.1 在 audit 的策略里添加要监控的目录或文件

1.1.1 案例一：监控某个目录以及目录下的目录和文件

# vim /etc/audit/rules.d/audit.rules

添加以下内容：

......
-a exit,always -F dir=/tmp -F perm=rwxa

（补充：这里以监控目录 /tmp 里的目录和文件为例）

1.1.2 案例二：监控某个文件

# vim /etc/audit/rules.d/audit.rules

添加以下内容：

......
-a exit,always -S unlink -S unlinkat -S rmdir -S rename -S renameat -F path=/dev/null

（补充：这里以监控目录 /dev/null 文件为例）

1.2 让监控目录或文件的配置生效

# service auditd restart

步骤二：显示 audit 监控记录

# cat /var/log/audit

（
补充：记录里的
1) nametype=CREATE 字段代表创建
2) nametype=NORMAL 字段代表普通
3) nametype=DELETE 字段代表删除
）

或者：

# sudo ausearch -i -k user-modify

（补充：这里以显示文件被修改的记录为例）

在提高触发 Kdump 的几率之前要先开启 Kdump：

正文：

步骤一：配置提高触发 Kdump 几率的参数

1.1 配置提高触发 Kdump 几率的参数

# vim /etc/sysctl.conf

添加以下内容：

......
kernel.softlockup_panic = 1

1.2 让刚刚配置的参数生效

# sysctl -p

（注意：此时每有一次软锁都会触发 Kdump）

步骤二：当 Kdmup 触发后分析奔溃的信息

步骤三；删除提高触发 Kdump 几率的参数 （重要）

3.1 删除提高触发 Kdump 几率的参数 （重要）

# vim /etc/sysctl.conf

删除以下内容：

......
kernel.softlockup_panic = 1

3.2 让刚刚删除参数的配置生效 （重要）

# sysctl -p

（注意：此时每有一次软锁都会触发 Kdump）

参考文献：

https://www.suse.com/support/kb/doc/?id=000019217

在触发 Kdump 之前要先开启 Kdump：

正文：

步骤一：在本地登录系统

（步骤略）

步骤二：强制同步屏幕

同时按下 “Left” 键和 “Alt” 键和 “Print Screen” 键和 “s” 键

步骤三：触发 Kdump

同时按下 “Left” 键和 “Alt” 键和 “Print Screen” 键和 “c” 键

在排除 SFTP 登录记录只监控普通登录记录前要先开启 SFTP 日志：

正文：

介绍

基本信息

作者：朱明宇
名称：监控普通登录记录 （排除 SFTP 登录记录只监控普通登录记录）
作用：监控普通登录记录 （排除 SFTP 登录记录只监控普通登录记录）

使用方法

1. 在此脚本的分割线内写入相应的内容
2. 给此脚本添加执行权限
3. 执行此脚本
4. 普通登录记录会同时记录在系统日志和 $logfile 里

脚本分割线里的变量

1. logfile=logfile.txt #用户保存记录的文件
2. prompt=”and no sftp info” #记录里普通登录记录的文件

脚本

#!/bin/bash

####################### Separator ########################

logfile=logfile.txt
prompt="and no sftp info"

####################### Separator ########################

checktime=`date +%Y-%m-%dT%H -d "-1 day"`

for i in `cat -n /var/log/messages | grep $check_time | grep 'Started Session' | grep -v 'root' | awk '{print $1}'`

do
   line=`sed -n $[i]p /var/log/messages`
   time=`echo $line | awk '{print $1}'`
   session=`echo $line | awk '{print $6}'`
   user=`echo $line | awk '{print $9}'`
   user=${user%.}

   message="ACCESS CHECK LOG: Time:$time Session:$session $user has accessed `hostname`, $prompt"

   let sftpline=i+3

   sed -n $[sftpline]p /var/log/messages | grep sftp-server &> /dev/null
   if [ $? -ne 0 ];then
           echo $message
           echo $message >> $logfile.txt
           logger $message
   fi
   echo
done

# logger [This is test message]

（补充：这里以往系统日志里写入一条包含 This is test message 内容的信息为例）

内容二：显示手动向系统日志写入信息

# grep "This is test message" /var/log/messages

（补充：这里在系统里查找一条包含 This is test message 内容的信息为例）

1.1 确保 crash 和 kernel-debuginfo 两个软件包已安装

# rpm -qa | grep crash || dnf install crash ; rpm -qa | grep kernel-debug || dnf install kernel-debug

1.2 给 Kdump 分配保留内存

1.2.1 通过在 /etc/default/grub 配置文件里修改 crashkernel 参数

# vim /etc/default/grub

在这一行里：

GRUB_CMDLINE_LINUX_DEFAULT="......"

添加：

GRUB_CMDLINE_LINUX_DEFAULT="...... crashkernel=auto"

（
补充：这里的 auto 代表系统会根据内存大小自动设置一个值，也可以指定一个值，例如：crashkernel=128M,high、crashkernel=256M,high 等等。如果设置成一个固定值，建议
1) 1 GB 到 4 GB 内存设置成 160 M
2) 4 GB 到 64 GB 内存设置成 192 M
3) 64 GB 到 1 TB 内存设置成 256 M
4) 大于 1 TB 内存设置成 512 M
）

1.2.2 让刚刚修改的内核参数生效

# grub2-mkconfig -o /boot/grub2/grub.cfg;reboot

1.2.3 显示给 Kdump 预留内存的大小

# makedumpfile --mem-usage /proc/kcore

步骤二：触发 Kdump 内核奔溃

# echo 1 > /proc/sys/kernel/sysrq
# echo c > /proc/sysrq-trigger

步骤三：分析 KDUMP 生成的内核奔溃信息

3.1 进入存放 KDUMP 内核奔溃信息的目录

# cd /var/crash/<date>/

3.2 解析 KDUMP 生成内核崩溃信息

# crash vmlinux-2.6.32.12-0.7-default vmcore

（补充：这里以使用 2.6.32.12-0.7-default 版本的 kernel-debuginfo 解析为例）

3.3 确认生成了 vmlinux-2.6.32.12-0.7-default.gz 压缩包

# ls vmlinux-2.6.32.12-0.7-default.gz

（注意：如果这里生成了 vmlinux-2.6.32.12-0.7-default.gz 压缩包的话，这里会有 vmlinux-2.6.32.12-0.7-default.gz 信息的显示）

（补充：这里以确认 2.6.32.12-0.7-default 版本的 kernel-debuginfo 生成的压缩包为例）

3.4 解压 vmlinux-2.6.32.12-0.7-default.gz 压缩包

# gzip -d vmlinux-2.6.32.12-0.7-default.gz

（补充：这里以解压 2.6.32.12-0.7-default 版本的 kernel-debuginfo 生成的压缩包为例）

3.5 分析 KDUMP 生成的内核奔溃信息

（步骤略）

参考文献：

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html/managing_monitoring_and_updating_the_kernel/analyzing-a-core-dump_managing-monitoring-and-updating-the-kernel

1.1 所有用户正在登录的记录

/var/run/utmp

1.1 所有用户正在登录记录的显示

# who

或者：

# w

或者：

# users

内容二：所有用户登录和登出的记录

2.1 所有用户登录和登出的记录

/var/log/wtmp

2.1 所有用户登录和登出记录的显示

# last

（注意：last 命令显示用户时最多只会显示前 8 个字符）

或者：

# ac

内容三：所有用户最后一次登录的记录

3.1 所有用户最后一次登录的记录

/var/log/lastlog

3.2 所有用户最后一次登录记录的显示

# lastlog

内容四：所有错误登录尝试的记录

4.1 所有错误登录尝试的记录

/var/log/btmp

4.2 所有错误登录尝试记录的显示

# lastb

内容五：所有信息 （其中也包括用户登录相关的记录）

/var/log/messages

内容六：所有用户登录相关的记录

/var/log/secure

/var/log/cron

如果是 openSUSE & SLE：

/var/spool/mail/<user>

Linux 的 kernel 会把开机日子存储在 ring buffer 和 /var/log/message 中，其中 ring buffer 里的开机日志可以使用 dmesg 来显示，如果开机时的提示信息来不及阅读的话，可以通过 dmesg 命令来显示

内容二：dmesg 命令的选项

1) -c 显示 ring buffer 的日志后清空 ring buffer
2) -n 显示日志的层级
3) -cn 显示 ring buffer 的日志后清空 ring buffer，同时显示日志的层级
4) -s 设置缓冲区的大小，默认为 8196 与 ring buffer 的大小一样

内容三：dmesg 命令的使用案例

3.1 显示所有开机日志

# dmesg | less

3.2 显示所有日志，显示 ring buffer 的日志后清空 ring buffer，同时显示日志的层级

# dmesg -cn

3.3 显示所有失败的开机日志

# dmesg | egrep -i "fail|warn|error"

1.1 服务器列表

rsyslog 服务端 IP 地址:192.168.0.11
rsyslog 客户端 IP 地址:192.168.0.12

1.2 服务器列表简介

rsyslog 客户端将日志发送给 rsyslog 服务端，并实现分文件存储

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 8 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
5) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：配置 rsyslog 服务端

3.1 修改 rsyslog 配置文件的案例

3.1.1 案例一

（只在 rsyslog 服务端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 此配置会将所有 rsyslog 客户端的日志存储在 rsyslog 服务端的 /var/log/message 里
）

3.1.2 案例二

（只在 rsyslog 服务端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

$template DynFile,"/var/log/%HOSTNAME%.log"
*.* -?DynFile
& ~

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 此配置会将每个 rsyslog 客户端的日志单独存储在 /var/log/ 下的一个文件里，此文件会以其所属系统名命名
）

3.1.3 案例三

（只在 rsyslog 服务端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

$template DynFile,"/var/log/remotelog/%HOSTNAME%-%$YEAR%-%$MONTH%-%$DAY%-messages.log"
*.* -?DynFile
& ~

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 此配置会将每个 rsyslog 客户端的日志单独存储在 /var/log/remotelog 下的一个文件里，此文件会以其创建时间和其所属系统名命名
）

3.1.4 案例四

（只在 rsyslog 服务端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

$template DynFile,"/var/log/remotelog/%HOSTNAME%-%$YEAR%-%$MONTH%-%$DAY%-messages.log"
:fromhost-ip,!isequal,"127.0.0.1" -?DynFile
& ~

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 此配置会将每个 rsyslog 客户端的日志单独存储在 /var/log/ 下的一个文件里，此文件会以其创建时间和其所属系统名命名
4) 此配置不会单独存储 rsyslog 服务端的日志
）

3.1.5 案例五

（只在 rsyslog 服务端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
module(load="imudp")
input(type="imudp" port="514")
module(load="imtcp")
input(type="imtcp" port="514")

$template DynFile,"/var/log/syslog/system-%HOSTNAME%/messages.log"
*.* -?DynFile
& ~

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 此配置会将每个 rsyslog 客户端的日志单独存储在 /var/log/ 下某个目录的 messages 文件里，此目录会以其所属系统名命名
）

3.2 重启 rsyslog 服务

（只在 rsyslog 服务端执行以下步骤）

# systemctl restart rsyslog

（
补充：
1) 使用 UDP 的 514 端口接收日志
2) 使用 TCP 的 514 端口接收日志
3) 需要在 3.1 修改 rsyslog 配置文件的案例中任选其一完成后在执行此步骤
）

步骤四：配置 rsyslog 客户端

4.1 修改 rsyslog 客户端的案例

（只在 rsyslog 客户端执行以下步骤）

# vim /etc/rsyslog.conf

添加以下内容：

......
*.emerg;*.alert;*.crit;*.err;*.warning;*.notice;*.info  @192.168.0.11

或者：

......
*.emerg;*.alert;*.crit;*.err;*.warning;*.notice;*.info  @@192.168.0.11

（
补充：
1) 这里的 192.168.0.11 是指 rsyslog 服务端的 IP 地址
2) IP 地址前一个 “@” 符后是指使用 UDP 端口 514 传输日志
3) IP 地址前两个 “@” 符后是指使用 TCP 端口 514 传输日志
）

4.2 重启 rsyslog 服务

（只在 rsyslog 客户端执行以下步骤）

# systemctl restart rsyslog

步骤五：测试 rsyslog 服务

5.1 在 rsyslog 客户端上发送日志

（只在 rsyslog 客户端执行以下步骤）

# logger "This is our test log"

（补充：这里以发送 This is our test log 信息为例）

5.2 在 rsyslog 服务端上显示日志

（只在 rsyslog 服务端执行以下步骤）

# cat /var/log/* | grep test

# rpm -qa | grep crash || dnf install crash ; rpm -qa | grep kernel-debug || dnf install kernel-debug

（注意：此步骤有 Rocky Linux 8 & RHEL 8 才需要操作）

步骤二：给 Kdump 预留内存

2.1 给 Kdump 预留内存

2.1.1 方法一：通过在 /etc/default/grub 配置文件里修改 crashkernel 参数

2.1.1.1 在 /etc/default/grub 配置文件里修改 crashkernel 参数

# vim /etc/default/grub

在这一行里：

.....
GRUB_CMDLINE_LINUX_DEFAULT="......"
.....

确保有：

.....
GRUB_CMDLINE_LINUX="crashkernel=auto......"
.....

并确保此文件其他地方没有和 crashkernel= 相关的参数

（
补充：这里的 auto 代表系统会根据内存大小自动设置一个值，也可以指定一个值，例如：crashkernel=128M,high、crashkernel=256M,high 等等。如果设置成一个固定值，建议
1) 1 GB 到 4 GB 内存设置成 160 M
2) 4 GB 到 64 GB 内存设置成 192 M
3) 64 GB 到 1 TB 内存设置成 256 M
4) 大于 1 TB 内存设置成 512 M
）

2.1.1.2 让刚刚修改的内核参数生效

# grub2-mkconfig -o /boot/grub2/grub.cfg;reboot

2.1.2 方法二：通过 yast 工具修改 crashkernel 参数

2.1.2.1 方法二：通过 yast 工具修改 crashkernel 参数

# yast kdump

之后将 –Start-Up 中的 Kdump Low Memory [MiB] (72 – 3069) 修改为 256，将 –Start-Up 中的 Kdump High Memory [MiB] (0 – 7168) 修改为 512，之后再选择 [ OK ]

（补充：当 Kdump Low Memory 设置为 256，Kdump High Memory 设置为 512 时更易触发 Kdump）

（注意：此方法只有 openSUSE & SUSE 可以使用）

2.1.2.2 让刚刚修改的内核参数生效

# reboot

2.2 显示给 Kdump 预留内存的大小

# makedumpfile --mem-usage /proc/kcore

步骤三：修改 Kdump 的配置信息

3.1 修改 Kdump 的配置文件

# vim /etc/kdump.conf

将以下内容：

......
path /var/crash
core_collector makedumpfile -l --message-level 1 -d 31
......

修改为：

......
path /var/crash
core_collector makedumpfile -c -l --message-level 1 -d 31
default reboot
......

（
补充：
1) path /var/crash
2) -c 参数会对搜集的内核崩溃时的信息进行压缩
3) default reboot 参数会让 KDUMP 收集完内核崩溃时的信息后重启
）

3.2 让刚刚修改的 Kdump 配置文件生效

# systemctl enable kdump.service ; systemctl restart kdump.service

步骤四：测试 Kdump

4.1 造成系统内核崩溃

# echo 1 > /proc/sys/kernel/sysrq ; echo c > /proc/sysrq-trigger

（注意：此时系统会自动崩溃并重启）

4.2 显示 Kdump 生成内核崩溃信息

# ls /var/crash/<date>/vmcore

（补充：这里的内核崩溃信息存放目录 /var/crash/，是刚刚在 /etc/kdump.conf 文件里指定的）

参考文献：

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html/system_design_guide/installing-and-configuring-kdump_system-design-guide

（
补充：这里以：
1) 影响的日志文件有 /var/log/messages、/var/log/secure 和 /var/log/maillog （/var/log/messages /var/log/secure /var/log/maillog）
2) 对备份的日志文件进行压缩 （delaycompress，默认使用 gz 格式进行压缩）
3) 备份的日志文件保留 5 份 （rotate 5）
4) 如果现有日志文件丢失，则不报错直接生成新的日志文件 （missingok）
5) 如果现有日志文件是空文件，则不再对日志文件进行备份 （notifempty）
6) 每周将现在的日志文件进行备份并生成新的日志文件 （weekly）
7) 日志文件权限是 0755 所属主是 root 所属组是 root （create 755 root root）
8) 在所有的现在的日志文件都备份并生成新的日志文件以后再统一执行脚本（sharedscripts，如果没有这个参数则每个日志文件在完成了这一动作后会各自单独执行脚本）
为例
）

# last

步骤二：清除原来的 last 记录

2.1 确认原有 last 记录的日志文件

# ls -arlt /var/log/wtmp
-rw-rw-r--. 1 root utmp 294920 Jul 20 09:57 lastlog

2.2 将原有 last 记录的日志文件移走

# mv /var/log/wtmp /var/log/wtmp.backup

2.3 创建新的 last 记录的日志文件

# touch /var/log/wtmp

2.4 给新创建的 last 记录的日志文件对应的权限

# chown root:utmp /var/log/wtmp

步骤三：显示 last 记录有没有被成功清除

# last

wtmp begins Mon Jul 20 10:07:11 2020

服务器系统配置好可用的软件源

步骤二：安装 cockpit

# yum -y install cockpit cockpit-dashaboard

（补充：cockpit 是管理单台主机的程序，cockpit-dashaboard 是管理多台主机的程序）

步骤三：启动 cockpit

# systemctl enable --now cockpit.socket

步骤四：登录 cockpit

使用浏览器登录：https://<server/ IP address>:9090