步骤一：拓扑图

1.1 服务器列表

client enp1s0: 172.16.1.99

proxy1 enp1s0: 172.16.0.101
enp7s0: 172.16.1.101
virtual IP: 172.16.1.100

proxy2 enp1s0: 172.16.0.102
enp7s0: 172.16.1.102

web1 enp1s0: 172.16.0.11

web2 enp1s0: 172.16.0.12

1.2 拓扑图

                      proxy1                                       web1
                      enp7s0:172.16.1.101 enp1s0:172.16.0.101      enp1s0:172.16.0.11
                      virtual IP:172.16.1.100
client
enp1s0:172.16.1.99
                      proxy2                                       web2
                      enp7s0:172.16.1.102 enp1s0:172.16.0.102      enp1s0:172.16.0.12

1.3 拓扑图简介

1) web1 安装 Nginx，web2 安装 Apache 实现网站服务
2) proxy1 和 proxy2 安装 Nginx 实现网站代理，轮询代理 web1、web2 上的网站服务实现负载均衡
3) 虚拟 IP 172.16.1.90 通过 Keepalived 默认放在 proxy1 的 enp7s0 网卡上，如果 proxy1 宕机或者检测到自己 Nginx 代理进程死掉，则虚拟 IP 172.16.1.90 则挂在 proxy2 的 enp7s0 网卡上实现高可用
4) 如果 web1 和 web2 中有一台服务器宕机，则 proxy1 和 proxy2 会自动不再向这台服务器请求网站服务，直到它恢复正常
5) 最终达到的效果是 client 向虚拟 IP 请求网站服务，此时如果 proxy1 正常就代表虚拟 IP 轮询调度 web1 和 web2 上的网站服务，再返回给 client。如果 proxy1 宕机则由 proxy2 代表虚拟 IP 完成次操作

步骤二： 系统环境要求

1) 所有服务器的系统都需要是 CentOS 8 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) client 的 enp1s0 网卡、proxy1 的 enp7s0 网卡和 proxy2 的 enp7s0 网卡要可以相互 ping 通自己和对方的 IP
7) proxy1 的 enp1s0 网卡、proxy2 的 enp1s0 网卡、web1 的 enp1s0 网卡和 web2 的 enp1s0 网卡要可以相互 ping 通自己和对方的 IP 地址

步骤三：搭建网站服务

3.1 在 web1 上搭建网站服务

3.1.1 在 web1 上安装 Nginx

（只在 web1 上执行以下步骤）

# yum -y install nginx

3.1.2 给 web1 制定网页

（只在 web1 上执行以下步骤）

# echo web1 > /usr/share/nginx/html/index.html

3.1.3 启动 Nginx 并将它设置为开机自启

（只在 web1 上执行以下步骤）

# systemctl enable --now nginx

3.2 在 web2 上搭建网站服务

3.2.1 在 web2 上安装 Apache

（只在 web2 上执行以下步骤）

# yum -y install httpd

3.2.2 给 web2 制定网页

（只在 web2 上执行以下步骤）

# echo web2 > /var/www/html/index.html

3.2.3 启动 Apache 并将它设置为开机自启

（只在 web2 上执行以下步骤）

# systemctl enable --now httpd

步骤四：搭建代理服务

4.1 安装 Nginx

（分别在 proxy1 和 proxy2 上执行以下步骤）

# yum -y install nginx

4.2 修改 Nginx 配置文件

（分别在 proxy1 和 proxy2 上执行以下步骤）

# vi /etc/nginx/nginx.conf

将部分内容修改如下：

......
http {
    upstream webserver {
        server 172.16.0.11:80;
        server 172.16.0.12:80;
    }
......
    server {
        listen       80;

        location / {
        proxy_pass http://webserver;/
        }
    }
......
}

4.3 启动 Nginx 并将它设置为开机自启

（分别在 proxy1 和 proxy2 上执行以下步骤）

# systemctl enable --now nginx

步骤五：搭建高可用服务

5.1 安装 Keepalived

（分别在 proxy1 和 proxy2 上执行以下步骤）

# yum -y install keepalived

5.2 创建 Keepalived 检查脚本

（分别在 proxy1 和 proxy2 上执行以下步骤）

# vi /etc/keepalived/nginx_check.sh

创建以下内容：

#!/bin/bash

if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
    systemctl stop nginx
    sleep 5
    if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
        systemctl stop keepalived
    fi
fi

（补充：这里以检测 Nginx 没启动就启动 Nginx，5 秒后 Nginx 要是还没有启动就关闭 keepalived 为例）

5.3 修改 proxy1 上的 Keepalived 配置文件

（只在 proxy1 上执行以下步骤）

# vim /etc/keepalived/keepalived.conf

将全部内容修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id proxy1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight 20
}

vrrp_instance VI_1 {
    state MASTER
    interface enp7s0
    virtual_router_id 90
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_nginx
    }
    virtual_ipaddress {
        172.16.1.100
    }
}

（
补充：
1) script “/etc/keepalived/nginx_check.sh” 代表使用的检测脚本是 /etc/keepalived/nginx_check.sh
2) interface enp7s0 代表虚拟 IP 将挂载在 enp7s0 网卡上
3) priority 代表修建级是 101，数字越大优先级越高
4) 172.16.1.100 代表虚拟 IP 是 172.16.1.100
）

5.4 修改 proxy2 上的 Keepalived 配置文件

（只在 proxy2 上执行以下步骤）

# vim /etc/keepalived/keepalived.conf

将全部内容修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id proxy1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight 20
}

vrrp_instance VI_1 {
    state MASTER
    interface enp7s0
    virtual_router_id 90
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_nginx
    }
    virtual_ipaddress {
        172.16.1.100
    }
}

（
补充：
1) script “/etc/keepalived/nginx_check.sh” 代表使用的检测脚本是 /etc/keepalived/nginx_check.sh
2) interface enp7s0 代表虚拟 IP 将挂载在 enp7s0 网卡上
3) priority 代表修建级是 99，数字越大优先级越高
4) 172.16.1.100 代表虚拟 IP 是 172.16.1.100
）

5.5 启动 Keepalived 并将它设置为开机自启

（分别在 proxy1 和 proxy2 上执行以下步骤）

# systemctl enable --now keepalived.service

步骤六：测试网站负载均衡加高可用

6.1 正常情况下测试网站服务

（只在 client 上执行以下步骤）

# curl 172.16.1.100

（补充：重复以上命令会发现重复显示 web1 和 web2）

6.2 在单节点故障的情况下测试网站服务

6.2.1 关闭 proxy1、proxy2、web1、web2 中的任意一台服务器

（只在 proxy1、proxy2、web1、web2 中的任意一台服务器上执行以下步骤）

# poweroff

6.2.2 测试网站服务

（只在 client 上执行以下步骤）

# curl 172.16.1.100

（补充：重复以上命令会发现重复显示 web1 和 web2）

步骤一：拓扑规划

1.1 服务器列表

client eth0:10.0.0.10/24
proxy eth0:10.0.0.5/24
eth1:10.0.1.5/24
web1 eth1:10.0.1.100/24
web2 eht1:10.0.1.200/24

1.2 拓扑图

                                           web1
                                           eth1:10.0.1.100/24
     client                proxy     
eth0:10.0.0.10/24    eth0:10.0.0.5/24  
                     eth1:10.0.1.5/24
                                           web2
                                           eht2:10.0.1.200/24

1.3 拓扑图简介

（1）client 向 proxy 的 eth0:10.0.0.5/24 发送 web 请求
（2）proxy 收到 web 请求后通过 eth1:10.0.1.5/24 将请求发往 web1 或 web2
（3）web1 或 web2 回应 web 请求，并通过 proxy 返回给 client
（4）最终实现单点代理器，双网站热备份

步骤二： 系统环境要求

（1）所有服务器的系统都需要是 CentOS 8 版本
（2）所有服务器都要关闭防火墙
（3）所有服务器都要关闭 SELinux
（4）所有服务器系统都要配置好可用的软件源
（5）需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
（6）所有服务器都要可以相互 ping 通自己和对方的 IP 地址

步骤三：部署集群环境

3.1 在 proxy 上安装 HAporxy

（只在 proxy 上执行以下步骤）

# yum -y install haproxy

3.2 在 web1 上安装 web 服务

3.2.1 安装 httpd

(只在 web1 上执行以下步骤)

# yum -y install httpd

3.2.2 创建网页文件

（只在 web1 上执行以下步骤）

# echo "10.0.1.100" > /var/www/html/index.html

3.2.3 启动 web 服务并设置为开机自启

（只在 web1 上执行以下步骤）

# systemctl start httpd ; systemctl enable httpd

3.3 在 web2 上安装 web 服务

3.3.1 安装 httpd

（只在 web2 上执行以下步骤）

# yum -y install httpd

3.3.2 创建网页文件

(只在 web2 上执行以下步骤)

# echo "10.0.1.200" > /var/www/html/index.html

3.3.3 启动 web 服务并设置为开机自启

（只在 web2 上执行以下步骤）

# systemctl start httpd ; systemctl enable httpd

步骤四：配置 HAproxy 实现 web 负载均衡代理集群

4.1 开启 proxy 的路由转发

4.1.1 在 sysctl.conf 文件里添加路由转发功能

（只在 proxy 上执行以下步骤）

# vim /etc/sysctl.conf

添加以下内容：

net.ipv4.ip_forward = 1

4.1.2 使刚刚添加的功能生效

（只在 proxy 上执行以下步骤）

# sysctl -p

4.2 修改 proxy 上的 HAproxy 配置文件

(只在 proxy 上执行以下步骤)

# vim /etc/haproxy/haproxy.cfg

将全部内容修改如下：

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/1.8/doc/configuration.txt
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

    # utilize system-wide crypto-policies
    ssl-default-bind-ciphers PROFILE=SYSTEM
    ssl-default-server-ciphers PROFILE=SYSTEM

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main
    bind *:80
    acl url_static       path_beg       -i /static /images /javascript /stylesheets
    acl url_static       path_end       -i .jpg .gif .png .css .js

    use_backend static          if url_static
    default_backend             app

#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
    balance     roundrobin
    server      static 127.0.0.1:80 check

#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
    balance     roundrobin
    server  app1 10.0.1.100:80 check
    server  app2 10.0.1.200:80 check

4.3 设置开机自动启动 HAproxy

（只在 proxy 上执行以下步骤）

# systemctl start haproxy ; systemctl enable haproxy

步骤五：测试 Haproxy 代理集群

（只在 client 上执行以下步骤）

# curl 10.10.10.5

（注意：这一步需要多做几次）

在设置 Nginx 代理之前要先安装 Nginx

正文：

内容一：设置 Nginx HTTP 代理

# vi /usr/local/nginx/conf/nginx.conf

将部分内容修改如下：

......
http {
.....
upstream webserver {
   server 192.168.1.100:80;
   server 192.168.1.200:80;
}
.....
server {
listen 80;
server_name www.eternalcenter.com;
location / {
proxy_pass http://webserver;/
}
......
}
......
}

或者：

......
http {
.....
upstream webserver {
Server    192.168.2.100    weight=1    max_fails=1  fail_timeout=30;
Server    192.168.2.200    weight=2    max_fails=2  fail_timeout=30;
Server    192.168.2.101    down;
}
.....
server {
listen 80;
server_name www.eternalcenter.com;
location / {
proxy_pass http://webserver;/
}
......
}
......
}

内容二：设置 Nginx SSH 代理

将部分内容修改如下：

stream {
upstream backend {
server 192.168.1.100:22;
server 192.168.1.200:22;
}
server{
listen 222;
proxy_connect_timeout 1s;
proxy_pass backend;
}
}

http{
......
}

注意：

在实现 FTP + Pacemaker 存储服务高可用之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

步骤一：Pacemaker 高可用 FTP 服务的解析

1.1 集群本身需要的服务

需要额外一台服务器提供 Iscasi 远程目录服务

1.2 本 Pacemaker 高可用 FTP 服务的特点

1) 使用其他服务器提供的 Iscasi 服务器作为 FTP 的共享目录
2) 提供 FTP 服务
4) 提供虚拟 IP 服务
5) 以上三项服务器都实现高可用
6) 唯一的单点故障在于额外的那台服务器提供的 Iscasi 远程目录服务器

步骤二：前期准备所有集群主机上都安装 FTP 服务

2.1 在所有集群主机上安装 FTP

（在所有集群服务器上执行以下步骤）

# yum -y install vsftpd

2.2 确保 vsftpd 服务没有启动

（在所有集群服务器上执行以下步骤）

# systemctl stop vsftpd
# systemctl disable vsftpd

步骤三：部署 Pacemaker 的 FTP 高可用服务

3.1 在 ftp 资源组中创建名为 ftpip 的虚拟 ip 资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create ftpip IPaddr2 ip=192.168.0.21 cidr_netmask=24 --group ftp

3.2 在 ftp 资源组中创建名为 ftpfiles 挂载其他服务器的 Iscasi 服务的资源

（只在 1 台集群里的服务器上执行以下步骤）

# pcs resource create ftpfiles Filesystem device=192.168.8.21:/content/ftp directory=/var/ftp fstype=nfs options=ro --group ftp

（注意：这里的 Filesystem 指的是其他服务器搭建的 Iscasi 服务，这个服务需要提前搭建好）

3.3 在 ftp 资源组中创建名为 vsftpd 的 ftp 资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create vsftpd systemd:vsftpd --group ftp

注意：

在实现 Apache + Pacemaker 网站服务高可用之前要先安装 Pacemaker 集群

正文：

步骤一：Pacemaker 高可用网站服务的解析

1.1 集群本身需要的服务

需要额外一台服务器提供 NFS 远程目录服务

1.2 本 Pacemaker 高可用网站服务的特点

1) 使用其他服务器提供的 NFS 服务器作为网站的网页目录
2) 提供网站 服务
3) 提供虚拟 IP 地址服务
4) 以上三项服务器都实现高可用
5) 唯一的单点故障在于额外的那台服务器提供的 NFS 远程目录服务器

步骤二：前期准备

2.1 在所有集群服务器上安装 httpd

（在所有集群服务器上执行以下步骤）

# yum -y install httpd

2.2 确保 httpd 不会被 SELinux 限制

（在所有集群服务器上执行以下步骤）

# setsebool -P httpd_use_nfs 1

（补充：这里是要求 SELinux 的布尔值让 httpd 也可以使用 NFS 服务）

2.3 确保 httpd 没有启动

（在所有集群服务器上执行以下步骤）

# systemctl stop httpd
# systemctl disable httpd

步骤三：部署 Pacemaker 的网站高可用服务

3.1 在 网站资源组中创建名为 webip 的虚拟 IP 地址资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create webip IPaddr2 ip=192.168.0.20 cidr_netmask=24 --group=web

3.2 在 网站资源组中创建名为 webnfs 挂载其他服务器的 NFS 服务的资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create webnfs Filesystem device=192.168.8.21:/content directory=/var/www/html fstype=nfs options=ro --group web

（注意：这里的 Filesystem 指的是其他服务器搭建的 NFS 服务，这个服务需要提前搭建好，可以参考 https://eternalcenter-sep-2022.github.io/nfs/ 里的内容）

3.3 在网站资源组中创建名为 webserver 的网站资源

（只在 1 台集群里的服务器上执行以下步骤）

# pcs resource create webserver apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status" --group web

在使用 Pacemaker 命令之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

内容一：pcs resource 命令

1.1 pcs resource 命令的常用选项

1) interval=value

定义资源监控的时间，如果不设置的话，就使用的是 resource agent ，每 60 秒检测一次

2) timeout=value

设置操作的等待时间，如果时间结束了某项操作还没有完成，则自动失败

3) on-fail=action

如果操作失败，则会执行以下动作

4) ignore

忽略所有失败的操作

5) block

当 fence 没有被配置时，停止执行操作

6) stop

停止处于激活状态的集群

7) restart

重启资源

8) fence

当 fence 有被配置时，当某个资源停止时隔离运行此资源的主机

9) standby

将所有资源从他正在运行的主机上移到另 1 台服务器

1.2 pcs resource 命令选项的使用案例

# pcs resourece create webserver apache \
> configfile="/etc/httpd/conf/http.conf" \
> statusurl="http:?/127.0.0.1/server-status" --group myweb \
> op monitor interval=20s timeout=30s

（
补充：这里以创建
1) 名为 webserver
2) 配置文件是 /etc/httpd/conf/http.conf
3) 状态链接是 http:?/127.0.0.1/server-status
4) 组名是 myweb
5) 监控间隔是 20 秒
6) 延迟时间是 30 秒
的 apache 资源为例
）

内容二：pcs resource 资源显示相关的命令

2.1 显示所有可用的资源列表

# pcs resource list

2.2 显示具体的某个可用资源的介绍

# pcs resource describe <resource>

2.3 显示所有的 pcs 资源

# pcs resource show

2.4 显示某个 pcs 资源

# pcs resource show <resource>

2.5 显示所有 pcs 资源被限制的情况

# pcs constraint list

内容三：pcs resource 资源增、删、改相关的命令

3.1 修改 pcs 资源

# pcs resource update <resource> <option>

3.2 删除 pcs 资源

# pcs resource delete <resource> 

3.3 在某个组里面添加某个资源

# pcs resource group add <group> <resource>

3.4 在某个组里面删除某个资源

# pcs resource group remove <group> <resource>

内容四：pcs resource 资源管理相关的命令

4.1 停用某个 pcs 资源

# pcs resource disable <resource>

4.2 启用某个 pcs 资源

# pcs resource enable <resource>

4.3 移动 pcs 资源到另 1 个主机

# pcs resource move <resource> <host>

4.4 指定某个 pcs 资源只能在某个主机上运行

# pcs resource ban <resource> <host>

4.5 清除某个 pcs 资源只能在某个主机上运行的限制

# pcs resource clear <resource> <host>

内容五：pcs resource 资源监控相关的命令

5.1 删除某个资源的监控

# pcs resource op remove <resource> monitor

5.2 添加某个资源的监控

# pcs resource op add <resource> monitor <fence parameter> onfail=fence

内容六：pcs resource 资源排错相关的命令

6.1 显示某个 pcs 资源失败的次数

# pcs resource failcount show <resource>

6.2 检查某个资源的情况

# pcs resource debug-start firstwebserver --full

在使用 Pacemaker 的 fence 之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

内容一：fence 介绍

fence 的作用是隔离不需要的主机，当一台主机和集群失去联系时，将其隔离，以防止脑裂

内容二：pcs stonith 命令的格式

# pcs stonith <option> name fencing_agent <parameter>

内容三：fence 管理

3.1 显示所有可用的 fence 的列表

# pcs stonith list

3.2 显示某种可用 fence 的详细信息

# pcs stonith describe fence_rhevm

3.3 显示所有已配置的 fence 状况

# pcs stonith fence show --full

3.4 删除 fence

3.4.1 删除某个 fence

# pcs stonith delete <fence>

3.4.2 删除当前所有的 fencing 资源

# for i in fence_node{a..d}; do
> pcs stonith delete &{I}
> done

3.5 创建 fence_vmware_soap 的案例

# pcs stonith create vmfence fence_vmware_soap ipaddr=192.168.0.254 login="vmfence" passwd="vmfence" ssl_insecure=1 pcmk_host_check="static-list" pcmk_host_list="pacemaker0 pacemaker1 pacemaker2"

（
补充：这里以创建
1) 名为 vmfence
2) fence 服务器的 IP 地址为 192.168.0.254
3) fence 服务器的用户名为
4) fence 服务器的密码为
5) 被 fence 监控的服务器为 pacemaker0、pacemaker1 和 pacemaker2
的 fence 为例
）

（注意：fence_vmware_soap 需要在 vmware 环境下才能被使用，且需要设置好 vmfence 的用户、密码、IP 等）

内容四：使用 fence 管理服务器

4.1 隔离某个台服务器

# pcs stonith fence <host>

4.2 从 fencing 删除某台服务器

# pcs stonith delete <host>

在使用 Pacemaker 命令之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

命令一：只显示与集群相关的信息

# pcs status cluster

命令二：只显示资源组和他们的资源

# pcs status groups

命令三：只显示资源组和它们的资源

# pcs status resources

命令四：只显示集群主机的配置状态

# pcs status nodes

命令五：只显示 corosync 的状态

# pcs status corosync

命令六：只显示 pcsd 在每个主机上的配置状态

# pcs status pcsd

命令七：显示 pcs 总共的主机数，当前的主机数，最大期望投票数，最低投票数要求，当前生效投票数

# pcs corosync-quorumtool -m

（注意：为了防止脑裂，PCS 的最低投票数必须高于总主机数的 50%）

命令八：显示最近的投票信息

# watch -n1 corosync-quorumtool

（注意:当期望投票数发生变化时， # pcs corosync-quorumtool -m 命令不会自动更新，所以最好使用 # watch -n1 corosync-quorumtool 命令）

命令九：显示所有的 pcs 资源

# pcs resource show

命令十：显示某个 pcs 资源

# pcs resourece show <resource>

命令十一：显示所有 pcs 资源被限制的列表

# pcs constraint list

命令十二：显示现有的资源限制信息

# pcs constraint

命令十三：显示现有的详细资源限制信息

# pcs constraint --full

命令十四：显示资源被限制到某台服务器的信息

# crm_simulate -sL

在使用 Pacemaker 命令之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

内容一：启动服务器

1.1 启动某台服务器

# pcs cluster start <server>

1.2 启动所有服务器

# pcs cluster start --all
pacemaker0: Starting Cluster (corosync)...
pacemaker1: Starting Cluster (corosync)...
pacemaker2: Starting Cluster (corosync)...
pacemaker2: Starting Cluster (pacemaker)...
pacemaker1: Starting Cluster (pacemaker)...
pacemaker0: Starting Cluster (pacemaker)...

内容二：关闭服务器

2.1 关闭某台服务器

# pcs cluster stop <server>

2.2 关闭所有的服务器

# pcs cluster stop --all
pacemaker1: Stopping Cluster (pacemaker)...
pacemaker2: Stopping Cluster (pacemaker)...
pacemaker0: Stopping Cluster (pacemaker)...
pacemaker1: Stopping Cluster (corosync)...
pacemaker0: Stopping Cluster (corosync)...
pacemaker2: Stopping Cluster (corosync)...

（注意：当当前主机被关闭了之后，就无法在此服务器上使用 pcs 的其他相关命令，除非先启动本服务器）

内容三：设置随 pcs 服务器启动而自动启动服务器

3.1 让某台服务器随 pcs 服务一同启动

# pcs cluster enable <server>

3.2 让所有服务器都随 pcs 服务一同启动

# pcs cluster enable --all

内容四：设置取消随 pcs 服务器启动自动启动服务器

4.1 取消让某台主机随 pcs 服务器一同启动

# pcs cluster diablle <server>

4.2 取消让所有服务器都随 pcs 服务一同启动

# pcs cluster disable --all

内容五：在集群里新添加 1 台服务器

5.1 新添加 1 台服务器的准备工作

1) 在要被添加的服务器的防火墙上开放 pacemaker 的端口
2) 在要被添加的服务器上安装 pcs fence-agents-rht 以及他的依赖包
3) 在要被添加的服务器上启动 pcsd 服务，并将他设置为开机自启
4) 在要被添加的服务器上将 hacluster 用户的密码修改为 redhat

5.2 在集群里添加新的服务器

（在任意一台集群里的服务器上输入以下命令以加入新的服务器）

# pcs cluster node add <new server>
# pcs cluster auth
Username: hacluster
Password: 
......

（补充：在这里也可以使用 -u<用户> 和 -p<密码> 参数非交互实现命令输入）

内容六：在集群里删除 1 台服务器

6.1 在集群里删除 1 台服务器

# pcs cluster node remove <server>

6.2 在集群里删除 1 台服务器后，最好连 fence 监控也一同删除

# pcs stonith remove fence_deletednode

内容七：让服务器失效

7.1 让某台服务器失效并处于待机状态

# pcs cluster standby <server>

7.2 让所有服务器失效并处于待机状态

# pcs cluster standby --all

内容八：让失效的服务器重新回到活跃状态

8.1 让某台服务器从失效状态回归到活跃状态

# pcs cluster unstandby <server>

8.2 让所有服务器从失效状态回归到活跃状态

# pcs cluster unstandby --all

内容九：生成带配置集群的案例

# pcs cluster setup --start --name testcluster --last_man_standing --wait_for_all pacemkaer10 pacemaker11 pacemaker12

（补充：这里 pacemaker 集群的成员有 pacemaker10、pacemaker11 和 pacemaker12）

内容十：修改集群配置的案例

10.1 关闭所有的主机

# pcs cluster stop --all

10.2 修改 /etc/corosync/corosync.conf 文件中

# vim /etc/corosync/corosync.conf

将部分内容修改如下：

......
quorum {
provider: corosync_votequorum
last_man_standing: 1
wait_for_all: 1
}
......

10.3 同步当前服务器的 /etc/corosync/corosync.conf 文件到其他所有服务器

# pcs cluster sync

10.4 开启所有服务器

# pcs cluster start --all

补充：pcs cluster setup 命令的常用选项

1)  --wait_for_all

当所有集群成员都处于 online 的时候才启动集群投票，主要用于阻止被隔离的主机参与投票

2) --auto_tie_breaker

最低投票从从总数的 50% +1 变为 50% ，如果被分割的主机群两边的数量相等，则拥有最小主机 ID 的那一边才会生效

（补充：–auto_tie_breaker 主要用于集群主机数是双数的主机群）

3) –last_man_standing

有了这个参数之后每隔 10 秒钟，就重新计算一次期望投票数，主要用于人为关闭主机后快速进行重新投票
和 –auto_tie_breaker 选项结合可以让整个集群只有一台主机处于激活状态

（注意:当期望投票数发生变化时， # pcs corosync-quorumtool -m 命令不会自动更新，所以最好使用这个命令 watch -n1 corosync-quorumtool）

4) –two_node

设置整个集群只包含有两台主机，期望投票数是1，他会自动启用 wait_for_all 选项

步骤一：规划拓扑

1.1 服务器列表

pacemaker0 192.168.11.30
pacemaker1 192.168.11.31
pacemaker2 192.168.11.32

1.2 服务器列表简介

1) pacemaker0、pacemaker1、pacemaker2 都启用 pcs 服务，通过 pcs 实现 pacemaker
2) 3 台服务器都可通过 pcs 服务提供 web、nfs 等服务，但是 web、nfs 等服务在同一时间里只在一台服务器上生效
3) 如果正在提供 web、nfs 服务的服务器 down 掉了，则正在它上面运行的 web nfs 等服务将无缝自动迁移到另外两台服务器

步骤二：服务器系统要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机

步骤三：安装并启用 pcs

3.1 在所有服务器上安装 pcs 和 fence-agents-all 服务

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# yum install pcs fence-agents-all

3.2 在所有服务器防火墙上开放 pcs

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# firewall-cmd --permanent --add-service=high-availability
# firewall-cmd --reload

3.3 在所有服务器上启动 pcs ，并设置开机自起

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# systemctl enable pcsd
# systemctl start pcsd

步骤四：让服务器中的各主机通过 pcs 验证

4.1 在所有服务器将 hacluster 用户的密码修改为 redhat

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# echo redhat | passwd --stdin hacluster

4.2 在所有服务器上添加主机名到 IP 地址的解析

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# echo "192.168.11.30 pacemaker0" >> /etc/hosts
# echo "192.168.11.31 pacemaker1" >> /etc/hosts
# echo "192.168.11.32 pacemaker2" >> /etc/hosts

4.3 让集群里的所有服务器通过 pcs 验证

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster auth pacemaker0 pacemaker1 pacemaker2
Username: hacluster
Password: 
pacemaker2: Authorized
pacemaker1: Authorized
pacemaker0: Authorized

（补充：这一步也可以使用 -u 和 -p 参数实现非交互式配置）

步骤五：通过 pcs 服务生成 1 个名为 mycluster 的 pcs 集群

5.1 生成一个名为 mycluster 包含 pacemaker0 pacemaker1 pacemaker2 的集群组

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster setup --start --name mycluster pacemaker0 pacemaker1 pacemaker2
Destroying cluster on nodes: pacemaker0, pacemaker1, pacemaker2...
pacemaker2: Stopping Cluster (pacemaker)...
pacemaker0: Stopping Cluster (pacemaker)...
pacemaker1: Stopping Cluster (pacemaker)...
pacemaker0: Successfully destroyed cluster
pacemaker1: Successfully destroyed cluster
pacemaker2: Successfully destroyed cluster

Sending 'pacemaker_remote authkey' to 'pacemaker0', 'pacemaker1', 'pacemaker2'
pacemaker1: successful distribution of the file 'pacemaker_remote authkey'
pacemaker0: successful distribution of the file 'pacemaker_remote authkey'
pacemaker2: successful distribution of the file 'pacemaker_remote authkey'
Sending cluster config files to the nodes...
pacemaker0: Succeeded
pacemaker1: Succeeded
pacemaker2: Succeeded

Starting cluster on nodes: pacemaker0, pacemaker1, pacemaker2...
pacemaker0: Starting Cluster (corosync)...
pacemaker1: Starting Cluster (corosync)...
pacemaker2: Starting Cluster (corosync)...
pacemaker1: Starting Cluster (pacemaker)...
pacemaker0: Starting Cluster (pacemaker)...
pacemaker2: Starting Cluster (pacemaker)...

Synchronizing pcsd certificates on nodes pacemaker0, pacemaker1, pacemaker2...
pacemaker2: Success
pacemaker1: Success
pacemaker0: Success
Restarting pcsd on the nodes in order to reload the certificates...
pacemaker2: Success
pacemaker1: Success
pacemaker0: Success

（
补充：这里可以通过以下方式强制重新生成集群

[root@pacemaker0 ~]# pcs cluster setup --start --name mycluster --force pacemaker0 pacemaker1 pacemaker2

）

5.2 让所有 pcs 集群都随 pcs 服务自动启动

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster enable --all

5.3 显示 pcs 集群状态

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster status
Cluster Status:
 Stack: corosync
 Current DC: pacemaker0 (version 1.1.19-8.el7-c3c624ea3d) - partition with quorum
 Last updated: Sun Aug  4 09:21:55 2019
 Last change: Sun Aug  4 09:20:38 2019 by hacluster via crmd on pacemaker0
 3 nodes configured
 0 resources configured

PCSD Status:
  pacemaker1: Online
  pacemaker2: Online
  pacemaker0: Online

（注意：如果在 PCSD Status 中出现了 down ，则要确保他们的主机没有在 /etc/hosts 中 127.0.0.1 那一行中出现）