步骤一：拓扑图

1.1 服务器列表

client enp1s0: 172.16.1.99

proxy1 enp1s0: 172.16.0.101
enp7s0: 172.16.1.101
virtual IP: 172.16.1.100

proxy2 enp1s0: 172.16.0.102
enp7s0: 172.16.1.102

web1 enp1s0: 172.16.0.11

web2 enp1s0: 172.16.0.12

1.2 拓扑图

                      proxy1                                       web1
                      enp7s0:172.16.1.101 enp1s0:172.16.0.101      enp1s0:172.16.0.11
                      virtual IP:172.16.1.100
client
enp1s0:172.16.1.99
                      proxy2                                       web2
                      enp7s0:172.16.1.102 enp1s0:172.16.0.102      enp1s0:172.16.0.12

1.3 拓扑图简介

1) web1 安装 Nginx，web2 安装 Apache 实现网站服务
2) proxy1 和 proxy2 安装 Nginx 实现网站代理，轮询代理 web1、web2 上的网站服务实现负载均衡
3) 虚拟 IP 172.16.1.90 通过 Keepalived 默认放在 proxy1 的 enp7s0 网卡上，如果 proxy1 宕机或者检测到自己 Nginx 代理进程死掉，则虚拟 IP 172.16.1.90 则挂在 proxy2 的 enp7s0 网卡上实现高可用
4) 如果 web1 和 web2 中有一台服务器宕机，则 proxy1 和 proxy2 会自动不再向这台服务器请求网站服务，直到它恢复正常
5) 最终达到的效果是 client 向虚拟 IP 请求网站服务，此时如果 proxy1 正常就代表虚拟 IP 轮询调度 web1 和 web2 上的网站服务，再返回给 client。如果 proxy1 宕机则由 proxy2 代表虚拟 IP 完成次操作

步骤二： 系统环境要求

1) 所有服务器的系统都需要是 CentOS 8 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) client 的 enp1s0 网卡、proxy1 的 enp7s0 网卡和 proxy2 的 enp7s0 网卡要可以相互 ping 通自己和对方的 IP
7) proxy1 的 enp1s0 网卡、proxy2 的 enp1s0 网卡、web1 的 enp1s0 网卡和 web2 的 enp1s0 网卡要可以相互 ping 通自己和对方的 IP 地址

步骤三：搭建网站服务

3.1 在 web1 上搭建网站服务

3.1.1 在 web1 上安装 Nginx

（只在 web1 上执行以下步骤）

# yum -y install nginx

3.1.2 给 web1 制定网页

（只在 web1 上执行以下步骤）

# echo web1 > /usr/share/nginx/html/index.html

3.1.3 启动 Nginx 并将它设置为开机自启

（只在 web1 上执行以下步骤）

# systemctl enable --now nginx

3.2 在 web2 上搭建网站服务

3.2.1 在 web2 上安装 Apache

（只在 web2 上执行以下步骤）

# yum -y install httpd

3.2.2 给 web2 制定网页

（只在 web2 上执行以下步骤）

# echo web2 > /var/www/html/index.html

3.2.3 启动 Apache 并将它设置为开机自启

（只在 web2 上执行以下步骤）

# systemctl enable --now httpd

步骤四：搭建代理服务

4.1 安装 Nginx

（分别在 proxy1 和 proxy2 上执行以下步骤）

# yum -y install nginx

4.2 修改 Nginx 配置文件

（分别在 proxy1 和 proxy2 上执行以下步骤）

# vi /etc/nginx/nginx.conf

将部分内容修改如下：

......
http {
    upstream webserver {
        server 172.16.0.11:80;
        server 172.16.0.12:80;
    }
......
    server {
        listen       80;

        location / {
        proxy_pass http://webserver;/
        }
    }
......
}

4.3 启动 Nginx 并将它设置为开机自启

（分别在 proxy1 和 proxy2 上执行以下步骤）

# systemctl enable --now nginx

步骤五：搭建高可用服务

5.1 安装 Keepalived

（分别在 proxy1 和 proxy2 上执行以下步骤）

# yum -y install keepalived

5.2 创建 Keepalived 检查脚本

（分别在 proxy1 和 proxy2 上执行以下步骤）

# vi /etc/keepalived/nginx_check.sh

创建以下内容：

#!/bin/bash

if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
    systemctl stop nginx
    sleep 5
    if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
        systemctl stop keepalived
    fi
fi

（补充：这里以检测 Nginx 没启动就启动 Nginx，5 秒后 Nginx 要是还没有启动就关闭 keepalived 为例）

5.3 修改 proxy1 上的 Keepalived 配置文件

（只在 proxy1 上执行以下步骤）

# vim /etc/keepalived/keepalived.conf

将全部内容修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id proxy1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight 20
}

vrrp_instance VI_1 {
    state MASTER
    interface enp7s0
    virtual_router_id 90
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_nginx
    }
    virtual_ipaddress {
        172.16.1.100
    }
}

（
补充：
1) script “/etc/keepalived/nginx_check.sh” 代表使用的检测脚本是 /etc/keepalived/nginx_check.sh
2) interface enp7s0 代表虚拟 IP 将挂载在 enp7s0 网卡上
3) priority 代表修建级是 101，数字越大优先级越高
4) 172.16.1.100 代表虚拟 IP 是 172.16.1.100
）

5.4 修改 proxy2 上的 Keepalived 配置文件

（只在 proxy2 上执行以下步骤）

# vim /etc/keepalived/keepalived.conf

将全部内容修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id proxy1
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight 20
}

vrrp_instance VI_1 {
    state MASTER
    interface enp7s0
    virtual_router_id 90
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_nginx
    }
    virtual_ipaddress {
        172.16.1.100
    }
}

（
补充：
1) script “/etc/keepalived/nginx_check.sh” 代表使用的检测脚本是 /etc/keepalived/nginx_check.sh
2) interface enp7s0 代表虚拟 IP 将挂载在 enp7s0 网卡上
3) priority 代表修建级是 99，数字越大优先级越高
4) 172.16.1.100 代表虚拟 IP 是 172.16.1.100
）

5.5 启动 Keepalived 并将它设置为开机自启

（分别在 proxy1 和 proxy2 上执行以下步骤）

# systemctl enable --now keepalived.service

步骤六：测试网站负载均衡加高可用

6.1 正常情况下测试网站服务

（只在 client 上执行以下步骤）

# curl 172.16.1.100

（补充：重复以上命令会发现重复显示 web1 和 web2）

6.2 在单节点故障的情况下测试网站服务

6.2.1 关闭 proxy1、proxy2、web1、web2 中的任意一台服务器

（只在 proxy1、proxy2、web1、web2 中的任意一台服务器上执行以下步骤）

# poweroff

6.2.2 测试网站服务

（只在 client 上执行以下步骤）

# curl 172.16.1.100

（补充：重复以上命令会发现重复显示 web1 和 web2）

步骤一：拓扑规划

1.1 服务器列表

client eth0:10.0.0.10/24
proxy eth0:10.0.0.5/24
eth1:10.0.1.5/24
web1 eth1:10.0.1.100/24
web2 eht1:10.0.1.200/24

1.2 拓扑图

                                           web1
                                           eth1:10.0.1.100/24
     client                proxy     
eth0:10.0.0.10/24    eth0:10.0.0.5/24  
                     eth1:10.0.1.5/24
                                           web2
                                           eht2:10.0.1.200/24

1.3 拓扑图简介

（1）client 向 proxy 的 eth0:10.0.0.5/24 发送 web 请求
（2）proxy 收到 web 请求后通过 eth1:10.0.1.5/24 将请求发往 web1 或 web2
（3）web1 或 web2 回应 web 请求，并通过 proxy 返回给 client
（4）最终实现单点代理器，双网站热备份

步骤二： 系统环境要求

（1）所有服务器的系统都需要是 CentOS 8 版本
（2）所有服务器都要关闭防火墙
（3）所有服务器都要关闭 SELinux
（4）所有服务器系统都要配置好可用的软件源
（5）需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
（6）所有服务器都要可以相互 ping 通自己和对方的 IP 地址

步骤三：部署集群环境

3.1 在 proxy 上安装 HAporxy

（只在 proxy 上执行以下步骤）

# yum -y install haproxy

3.2 在 web1 上安装 web 服务

3.2.1 安装 httpd

(只在 web1 上执行以下步骤)

# yum -y install httpd

3.2.2 创建网页文件

（只在 web1 上执行以下步骤）

# echo "10.0.1.100" > /var/www/html/index.html

3.2.3 启动 web 服务并设置为开机自启

（只在 web1 上执行以下步骤）

# systemctl start httpd ; systemctl enable httpd

3.3 在 web2 上安装 web 服务

3.3.1 安装 httpd

（只在 web2 上执行以下步骤）

# yum -y install httpd

3.3.2 创建网页文件

(只在 web2 上执行以下步骤)

# echo "10.0.1.200" > /var/www/html/index.html

3.3.3 启动 web 服务并设置为开机自启

（只在 web2 上执行以下步骤）

# systemctl start httpd ; systemctl enable httpd

步骤四：配置 HAproxy 实现 web 负载均衡代理集群

4.1 开启 proxy 的路由转发

4.1.1 在 sysctl.conf 文件里添加路由转发功能

（只在 proxy 上执行以下步骤）

# vim /etc/sysctl.conf

添加以下内容：

net.ipv4.ip_forward = 1

4.1.2 使刚刚添加的功能生效

（只在 proxy 上执行以下步骤）

# sysctl -p

4.2 修改 proxy 上的 HAproxy 配置文件

(只在 proxy 上执行以下步骤)

# vim /etc/haproxy/haproxy.cfg

将全部内容修改如下：

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   https://www.haproxy.org/download/1.8/doc/configuration.txt
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

    # utilize system-wide crypto-policies
    ssl-default-bind-ciphers PROFILE=SYSTEM
    ssl-default-server-ciphers PROFILE=SYSTEM

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main
    bind *:80
    acl url_static       path_beg       -i /static /images /javascript /stylesheets
    acl url_static       path_end       -i .jpg .gif .png .css .js

    use_backend static          if url_static
    default_backend             app

#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
    balance     roundrobin
    server      static 127.0.0.1:80 check

#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
    balance     roundrobin
    server  app1 10.0.1.100:80 check
    server  app2 10.0.1.200:80 check

4.3 设置开机自动启动 HAproxy

（只在 proxy 上执行以下步骤）

# systemctl start haproxy ; systemctl enable haproxy

步骤五：测试 Haproxy 代理集群

（只在 client 上执行以下步骤）

# curl 10.10.10.5

（注意：这一步需要多做几次）

步骤一：规划拓扑

1.1 服务器列表

服务端 192.168.101.41
客户端 192.168.101.42

1.2 服务器列表简介

1) 服务器提供 Samba 服务将自己的目录分享
2) 客户端挂载和使用 Samba 服务将服务端分享的目录挂载在自己的目录上

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 8 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要打开 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：在服务端上安装 Samba 服务

（只在服务端上执行以下步骤）

# yum -y install samba

步骤四：在服务端上配置 Samba 服务

4.1 在服务端上配置 Samba 服务文件

（只在服务端上执行以下步骤）

# vim /etc/samba/smb.conf

将全部内容修改如下：

# See smb.conf.example for a more detailed config file or
# read the smb.conf manpage.
# Run 'testparm' to verify the config is correct after
# you modified it.

[global]
workgroup = WORKGROUP
realm = zhumingyu
netbios name = zhumingyu
#encrypt passwords = yes
map to guest = NEVER
security = user
password server = *
name resolve order = bcast host
restrict anonymous = 2
#null passwords = no
#guest account = smb_nobody
#use spnego = yes
client use spnego = yes
server string = ""
host msdfs = no
msdfs root = no
domain master = no
preferred master = no
local master = no
os level = 0
browse list = no
browseable = no
dns proxy = no
wide links = no
public= no
guest ok = no
hosts deny = ALL EXCEPT 192.168.101.42

[sharetest]
valid users = zhumingyu
write list = zhumingyu
read list = zhumingyu
path = /share
guest ok = no
read only = no
browseable = no
writable = yes
public = no
create mask = 0755
directory mask = 0755

（
补充：
1) 这里的 workgroup = WORKGROUP 是让 Samba 服务属于 WORKGROUP
2) 这里的 hosts deny = ALL EXCEPT 192.168.101.42 是只让客户端 192.168.101.42 能够访问服务端的 Samba
3) 这里的 sharetest 是这个 Samba 挂载点的名称，挂载这个挂载点的格式就是：//192.168.101.41/sharetest
4) 这里的 valid users = zhumingyu 是 Samba 服务共享用户需要手动生成，如果换成让所有的服务共享用户都可以使用则可以写成 valid users = @users
5) 这里的 path = /share 是 Samba 服务共享目录需要手动生成
）

4.2 在服务端上生成 Samba 服务共享用户

4.2.1 在服务端上生成 Samba 服务共享用户

（只在服务端上执行以下步骤）

# useradd zhumingyu

（补充：这里以创建用户 zhumingyu 为例）

4.2.2 在服务端上给 Samba 服务共享用户设置系统密码

（只在服务端上执行以下步骤）

# passwd zhumingyu

（补充：这里以给 zhumingyu 设置密码为例）

4.2.3 在服务端上给 Samba 服务共享用户设置 Samba 共享密码

（只在服务端上执行以下步骤）

# smbpasswd -a zhumingyu

（补充：这里以给 zhumingyu 用户设置 Samba 共享密码为例）

4.2.4 显示Samba 服务共享用户是否可用

（只在服务端上执行以下步骤）

# pdbedit -L

4.3 在服务端上生成 Samba 服务共享目录

4.3.1 在服务端上生成 Samba 服务共享目录

（只在服务端上执行以下步骤）

# mkdir /share

（补充：这里以创建目录 /share 为例）

4.3.2 在服务端上给 Samba 服务共享目录设置权限

（只在服务端上执行以下步骤）

# chmod 755 /share

（补充：这里以给 /share 目录设置 755 权限为例）

4.3.3 在服务端上给 Samba 服务共享目录设置所属主和所属组

（只在服务端上执行以下步骤）

如果是 CentOS Linux & RHEL：

# chown zhumingyu:zhumingyu /share

如果是 openSUSE & SLE：

# chown zhumingyu:users /share

（补充：这里以将 /share 目录的所属主设置成 zhumingyu 为例）

4.3.4 在服务端上给 Samba 服务共享目录设置 SELinux 标签

（只在服务端上执行以下步骤）

# semanage fcontext -a -t samba_share_t '/share(/.*)?'

（补充：这里以给 /share 目录打上 samba_share_t SELinux 标签为例）

4.3.5 在服务端上让 Samba 服务共享目录上的 SELinux 标签立刻生效

（只在服务端上执行以下步骤）

# restorecon -RFvv /share/

步骤五：启动 Samba 服务并设置为开机自动启动

（只在服务端上执行以下步骤）

# systemctl enable --now smb

步骤六：客户端使用服务端 Samba 服务

6.1 在客户端上安装 Samba 客户端软件

（只在客户端上执行以下步骤）

# yum -y install samba-client cifs-utils

6.2 在客户端上测试服务端的 Samba 服务

（只在客户端上执行以下步骤）

# smbclient --user=zhumingyu -L //192.168.101.41

或者：

# smbclient //192.168.101.41/sharetest -U zhumingyu
smb: \> ls
smb: \> exit

（补充：这里以通过用户 zhumingyu 测试 IP 地址 192.168.101.41 的 /sharetest Samba 共享目录为例）

6.3 在客户端上挂载服务端的 Samba 目录

6.3.1 手动挂载的方法

（只在客户端上执行以下步骤）

# mount -t cifs -o dir_mode=0755,file_mode=0755,username=zhumingyu,password=1,sec=ntlmssp //192.168.101.41/sharetest /tmp

（补充：这里以通过用户 zhumingyu 密码为 1，目录权限为 0755，文件权限为 0755，挂载 IP 地址 192.168.101.41 的 /sharetest Samba 共享目录到本地的 /tmp 目录为例）

（注意：用户和密码不能一样，否则会报错）

6.3.2 自动挂载的方法

（只在客户端上执行以下步骤）

# vim /etc/fstable

添加以下内容：

......
# //192.168.101.41/sharetest /tmp cifs defaults,rw,dir_mode=0755,file_mode=0755,username=zhumingyu,password=1 0 0

（补充：这里以通过用户 zhumingyu 密码为 1，目录权限为 0755，文件权限为 0755，挂载 IP 地址 192.168.101.41 的 /sharetest Samba 共享目录到本地的 /tmp 目录为例）

（注意：用户和密码不能一样，否则会报错）

步骤一：规划拓扑

1.1 服务器列表

服务端 192.168.101.10
客户端 192.168.101.11

1.2 服务器列表简介

1) 服务器提供 NFS 服务将自己的目录分享
2) 客户端挂载和使用 NFS 服务将服务端分享的目录挂载在自己的目录上

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 8 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器系统都要配置好可用的软件源
4) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
5) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：所有服务器安装 NFS 服务

3.1 所有服务器安装 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# yum -y install rpcbind nfs-utils

3.2 设置所有服务器开机自启 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# systemctl enable nfs-server

3.3 所有服务器启动 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# systemctl start nfs-server

步骤四：配置 NFS 服务

4.1 创建用于 NFS 服务的目录

4.1.1 创建被 NFS 服务共享的目录

（只在服务端上执行以下步骤）

# mkdir /nfsshare

4.1.2 创建用于自动挂载 NFS 服务分享目录的目录

（只在客户端上执行以下步骤）

# mkdir /autofs

4.2 配置服务端的 NFS 服务配置文件

4.2.1 在服务端上添加可被 NFS 服务挂载的选项

（只在服务端上执行以下步骤）

# vim /etc/exports

添加以下内容：

......
/nfsshare 192.168.101.0/24(rw,sync,no_root_squash,no_subtree_check)

（补充：这里的 192.168.101.0.24 是客户端的 IP 地址所在的网段）

4.2.2 让刚刚修改的 NFS 服务配置文件生效

（只在服务端上执行以下步骤）

# exportfs -a

4.3 部署客户端的 Autofs 自动挂载服务

4.3.1 安装 Autofs 服务

（只在客户端上执行以下步骤）

# yum -y install autofs

4.3.2 设置客户端开机自启 Autofs 服务

（只在客户端上执行以下步骤）

# systemctl enable autofs

4.3.3 在客户端上设置 Autofs 自动挂载服务

4.3.3.1 在客户端上设置 Autofs 自动挂载的主配置文件

（只在客户端上执行以下步骤）

# vim /etc/auto.master

将以下内容：

......
#
/misc   /etc/auto.misc
#
......

修改为：

......
/misc   /etc/auto.misc
/autofs /etc/auto.autofs
......

（补充：在这里指定了 /etc/auto.autofs 为 Autofs 的从配置文件，并且将 autofs 的主目录设置为 /autofs）

4.3.3.2 在客户端上设置 Autofs 的从配置文件

（只在客户端上执行以下步骤）

# cp /etc/auto.misc /etc/auto.autofs
# vim /etc/auto.autofs

将以下内容：

......
cd              -fstype=iso9660,ro,nosuid,nodev :/dev/cdrom
......

修改为：

......
cd              -fstype=iso9660,ro,nosuid,nodev :/dev/cdrom
directory01             -fstype=nfs,rw 192.168.101.10:/nfsshare
......

（补充：在这里指定了 Autofs 的次级目录为 directory01，即：/autofs/directory01）

4.3.4 让刚刚修改的 Autofs 自动挂载服务配置文件生效

（只在客户端上执行以下步骤）

# systemctl restart autofs

步骤五：显示 Autofs 自动挂载服务是否设置成功

5.1 显示客户端当前的目录挂载情况

（只在客户端上执行以下步骤）

# df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        957M     0  957M   0% /dev
tmpfs           971M     0  971M   0% /dev/shm
tmpfs           971M   17M  954M   2% /run
tmpfs           971M     0  971M   0% /sys/fs/cgroup
/dev/vda1        10G  1.6G  8.5G  16% /
tmpfs           195M     0  195M   0% /run/user/0

5.2 进入到 Autofs 自动挂载的目录

（只在客户端上执行以下步骤）

# cd /autofs/directory01

5.3 再次显示客户端当前的目录挂载情况

（只在客户端上执行以下步骤）

# df -h
Filesystem                Size  Used Avail Use% Mounted on
devtmpfs                  957M     0  957M   0% /dev
tmpfs                     971M     0  971M   0% /dev/shm
tmpfs                     971M   17M  955M   2% /run
tmpfs                     971M     0  971M   0% /sys/fs/cgroup
/dev/vda1                  10G  1.6G  8.5G  16% /
tmpfs                     195M     0  195M   0% /run/user/0
192.168.101.10:/nfsshare   10G  1.6G  8.5G  16% /autofs/directory01

（补充：在进入到 Autofs 自动挂载的目录后，自动挂载就在系统中自动出现了）

注意：

文中的 python 系统名和 mysite 项目只是站主在本次操作中随意取的名称，读者可以根据自己的喜好换成任意别的名称

正文：

步骤一：系统环境要求

1) 服务器的系统需要是 CentOS Linux 7 版本
2) 服务器要关闭防火墙
3) 服务器要关闭 SELinux
4) 服务器系统要配置好可用的软件源
5) 服务器要能够连接外网

步骤二：安装 Django

2.1 安装 Python3

[root@python ~]# yum -y install python3

2.2 创建并进入 Django 项目的目录

[root@python ~]# mkdir project
[root@python ~]# cd project

2.3 将 Django 项目的目录指定为 Django 环境

[root@python project]# python3 -m venv django_env

2.4 进入 Django 环境

[root@python project]# source django_env/bin/activate
(django_env) [root@python project]# pip install django==1.11.6
Collecting django==1.11.6
  Downloading https://files.pythonhosted.org/packages/82/33/f9d2871f3aed5062661711bf91b3ebb03daa52cc0e1c37925f3e0c4508c5/Django-1.11.6-py2.py3-none-any.whl (6.9MB)
    100% |████████████████████████████████| 7.0MB 12kB/s 
Collecting pytz (from django==1.11.6)
  Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ReadTimeoutError("HTTPSConnectionPool(host='pypi.org', port=443): Read timed out. (read timeout=15)",)': /simple/pytz/
  Downloading https://files.pythonhosted.org/packages/e7/f9/f0b53f88060247251bf481fa6ea62cd0d25bf1b11a87888e53ce5b7c8ad2/pytz-2019.3-py2.py3-none-any.whl (509kB)
    100% |████████████████████████████████| 512kB 15kB/s 
Installing collected packages: pytz, django
Successfully installed django-1.11.6 pytz-2019.3
You are using pip version 9.0.3, however version 20.0.2 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
(django_env) [root@python project]# 

（
补充：
1) 这里以安装 1.11.6 版本的 django 为例
2) 如果向直接安装最新版本的 django 可以使用 pip install django 命令
）

2.5 检验 Django 环境是否成功

(django_env) [root@python project]# python
Python 3.6.8 (default, Aug  7 2019, 17:28:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import django
>>> django.__version__
'1.11.6'
>>> exit()

步骤三：创建 mysite 项目

3.1 创建 mysite 项目

(django_env) [root@python project]# django-admin startproject mysite

3.2 mysite 项目的目录

3.2.1 安装 tree 目录显示软件

# yum -y install tree

3.2.2 显示 mysite 项目的目录

(django_env) [root@python project]# cd mysite
(django_env) [root@python mysite]# tree
.
├── manage.py
└── mysite
    ├── __init__.py
    ├── settings.py
    ├── urls.py
    └── wsgi.py

1 directory, 5 files

3.3 Django 项目目录介绍

1) mysite 此 Django 项目的容器
2) manage.py 命令行工具，与 Django 项目进行交互
3) mysite/init.py 空文件，通知 Python 此项目是一个 Python 包
4) mysite/settings.py 此 Django 项目的配置文件
5) mysite/urls.py 此 Django 项目的 URL 声明和 Django 的网站“目录”
6) mysite/wsgi.py WSGI 兼容 Web 服务器的入口

步骤四：启动 Django 服务

4.1 启动 Django 服务

(django_env) [root@python mysite]# python manage.py runserver 0.0.0.0:8000
Performing system checks...

System check identified no issues (0 silenced).
February 27, 2020 - 05:35:30
Django version 1.11.6, using settings 'mysite.settings'
Starting development server at http://0.0.0.0:8000/
Quit the server with CONTROL-C.

（补充：这里以使用 8000 端口开启网站服务为例）

4.2 测试 Django 服务

通过浏览器访问以下网址：

http://127.0.0.1:8000/admin

软件准备：

在 RealVNC 官网上下载使用 VNC 服务所需软件 VNC View：

https://www.realvnc.com/en/

正文：

步骤一：规划拓扑

1.1 服务器列表

服务端 192.168.100.10
客户端 192.168.100.11

1.2 服务器列表简介

1) 服务器提供 VNC 服务让其他设备可以远程自己的桌面
2) 客户端通过 VNC 服务远程服务器的桌面

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：服务端安装 VNC 服务

3.1 服务端 VNC 环境准备

3.1.1 在服务端上安装桌面

（只在服务端上执行以下步骤）

# yum -y groupinstall "Server with GUI"
# yum -y groupinstall "GNOME Desktop"

3.1.2 在服务端上创建用于使用 VNC 的用户

3.1.2.1 创建用户

（只在服务端上执行以下步骤）

# useradd zhumingyu

3.1.2.2 修改用户密码

（只在服务端上执行以下步骤）

# passwd zhumingyu

3.2 服务端安装 VNC 服务

（只在服务端上执行以下步骤）

# yum -y install tigervnc tigervnc-server

步骤四：配置 VNC 服务

4.1 创建 VNC 服务进程文件

（只在服务端上执行以下步骤）

# cp /lib/systemd/system/vncserver\@.service /lib/systemd/system/vncserver\@:1.service

4.2 编辑 VNC 服务进程文件

（只在服务端上执行以下步骤）

# vi /lib/systemd/system/vncserver\@:1.service

将其中的：

......
[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target

[Service]
Type=forking

# Clean any existing files in /tmp/.X11-unix environment
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/usr/sbin/runuser -l <USER> -c "/usr/bin/vncserver %i"
PIDFile=/home/<USER>/.vnc/%H%i.pid
ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'

[Install]
WantedBy=multi-user.target

修改为：

......
[Unit]
Description=Remote desktop service (VNC)
After=syslog.target network.target

[Service]
Type=forking

# Clean any existing files in /tmp/.X11-unix environment
ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
ExecStart=/usr/sbin/runuser -l zhumingyu -c "/usr/bin/vncserver %i"
PIDFile=/home/zhumingyu/.vnc/%H%i.pid
ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'

[Install]
WantedBy=multi-user.target

步骤五：开机自启 VNC 服务

5.1 刷新所有服务进程文件

（只在服务端上执行以下步骤）

# systemctl daemon-reload

5.2 开机自启 VNC 服务

（只在服务端上执行以下步骤）

# systemctl enable vncserver@:1.service
Created symlink from /etc/systemd/system/multi-user.target.wants/vncserver@:1.service to /usr/lib/systemd/system/vncserver@:1.service.

步骤六：启动 VNC 服务

6.1 切换到使用 VNC 的用户

（只在服务端上执行以下步骤）

# su - zhumingyu

6.2 开启 VNC 服务

（只在服务端上执行以下步骤）

$ vncserver :1

You will require a password to access your desktops.

Password:
Verify:
Would you like to enter a view-only password (y/n)? y
Password:
Verify:

New 'vnc:1 (zhumingyu)' desktop is vnc:1

Creating default startup script /home/zhumingyu/.vnc/xstartup
Creating default config /home/zhumingyu/.vnc/config
Starting applications specified in /home/zhumingyu/.vnc/xstartup
Log file is /home/zhumingyu/.vnc/vnc:1.log

6.3 补充：修改 VNC 登录密码的方法

# su - zhumingyu
$ vncpasswd

步骤七：确认 VNC 服务是否启动成功

（只在服务端上执行以下步骤）

$ ss -ntulap | grep 5901
tcp    LISTEN     0      5         *:5901                  *:*                   users:(("Xvnc",pid=1152,fd=9))
tcp    LISTEN     0      5      [::]:5901               [::]:*                   users:(("Xvnc",pid=1152,fd=10))

步骤八：客户端使用 VNC 服务

8.1 客户端使用 VNC 服务的前期工作

8.1.1 在客户端上安装桌面

（只在客户端上执行以下步骤）

# yum -y groupinstall "Server with GUI"
# yum -y groupinstall "GNOME Desktop"

8.1.2 客户端安装 VNC 服务的客户端

（只在客户端上执行以下步骤）

# yum -y localinstall VNC-Viewer-6.19.1115-Linux-x64.rpm

（补充：这里以安装 VNC-Viewer-6.19.1115-Linux-x64.rpm 为例）

8.1.3 客户端启动桌面

（只在客户端上执行以下步骤）

# startx

8.2 客户端使用 VNC 服务

8.2.1 客户端启动 VNC 服务的客户端

（只在客户端上执行以下步骤）

8.2.2 连接服务端的 VNC IP 地址和端口号

（只在客户端上执行以下步骤）

8.2.3 输入服务端 VNC 用户的 VNC 密码

（只在客户端上执行以下步骤）

8.2.4 VNC 服务成功

（只在客户端上执行以下步骤）

步骤一：规划拓扑

1.1 服务器列表

服务端 192.168.1.20
客户端 192.168.1.21

1.2 服务器列表简介

1) 服务器提供 NFS 服务将自己的目录分享
2) 客户端挂载和使用 NFS 服务将服务端分享的目录挂载在自己的目录上

步骤二：系统环境要求

1) 所有服务器的系统都需要是 openSUSE 15.1 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器系统都要配置好可用的软件源（最好是软件数量最多的官方版本）
4) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
5) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：所有服务器安装 NFS 服务

3.1 所有服务器安装 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# zypper install nfs-kernel-server
# zypper install nfs-client

3.2 设置所有服务器开机自启 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# systemctl enable rpcbind
# systemctl enable nfsserver

3.3 所有服务器启动 NFS 服务

（分别在服务端和客户端上执行以下步骤）

# systemctl start rpcbind
# systemctl start nfsserver

步骤四：配置 NFS 服务

4.1 创建用于 NFS 服务的目录

4.1.1 创建被 NFS 服务共享的目录

（只在服务端上执行以下步骤）

# mkdir /nfsserver

4.1.2 创建用于挂载 NFS 服务分享目录的目录

（只在客户端上执行以下步骤）

# mkdir /nfsclient

4.2 配置服务端的 NFS 服务配置文件

4.2.1 在服务端上添加可被 NFS 服务挂载的选项

（只在服务端上执行以下步骤）

# vi /etc/exports

添加以下内容：

......
/nfsserver 192.168.1.21(rw,no_root_squash,no_subtree_check)

（补充：这里的 192.168.1.21 是客户端的 IP 地址）

4.2.2 让刚刚修改的 NFS 服务配置文件生效

（只在服务端上执行以下步骤）

# exportfs -a

4.3 配置客户端的 NFS 服务挂载文件

4.3.1 在客户端上添加开机挂载 NFS 的选项

（只在客户端上执行以下步骤）

# vi /etc/fstab

添加以下内容：

......
192.168.1.20:/nfsserver /nfsclient nfs  timeo=120,rw,soft,nolock  0 0

4.3.2 让刚刚修改的 NFS 服务挂载文件生效

（只在客户端上执行以下步骤）

# mount -a

步骤五：确认 NFS 服务是否搭建成功

（只在客户端上执行以下步骤）

# df -h | grep 192.168.1.20

（补充：如果出现了类似 “192.168.1.20:/nfsserver 38G 5.5G 31G 16% /nfsclient”，则代表 NFS 搭建成功了）

注意：

在给 Redis 数据库集群添加和删除 Redis 数据库之前要先搭建 Redis 数据库集群

软件准备：

在 Redis 的官网上下载软件 Redis：

https://redis.io/

在 rubygems 的官网上下载软件 rubygems

https://rubygems.org/

正文：

步骤一：规划拓扑

1.1 服务器列表

现有的 Redis 集群
redis7 IP 地址:192.168.1.57 端口号：1057
redis8 IP 地址:192.168.1.58 端口号：1058

（补充：在本次实验中现有的 redis 集群管理服务器是 redis1，IP 地址是 192.168.1.57，端口号是 1057）

1.2 服务器列表简介

redis7 作为主库 redis8 作为从库加入到一个现有的 Redis 集群中

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

（注意：现有的 Redis 集群因为已经是创建好了的，所以不用执行以上操作）

步骤三：所有数据库服务器安装 Redis 数据库

3.1 安装 Redis 数据库的相关依赖包

（分别在 redis7 和 redis8 上执行以下步骤）

# yum -y install gcc gcc-c++ make

3.2 安装 Redis 数据库

3.2.1 解压安装包

（分别在 redis7 和 redis8 上执行以下步骤）

# tar -zxf redis-5.0.5.tar.gz

（补充：这里要安装的 Redis 版本是 5.0.5）

3.2.2 进入安装包目录

（分别在 redis7 和 redis8 上执行以下步骤）

# cd redis-5.0.5/

（补充：这里要安装的 Redis 版本是 5.0.5）

3.2.3 编译安装包

（分别在 redis7 和 redis8 上执行以下步骤）

# make

3.2.4 安装软件包

（分别在 redis7 和 redis8 上执行以下步骤）

# make install

3.2.5 进入配置目录

（分别在 redis7 和 redis8 上执行以下步骤）

# cd utils/

3.2.6 安装软件包

（分别在 redis7 和 redis8 上执行以下步骤）

# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

步骤四：将 Redis 数据库添加到别的集群

4.1 修改所有服务器上的 Redis 数据库配置文件

（只在 redis7 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.57
......
port 1057
......
daemonize yes
......
pidfile /var/run/redis_1057.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1057.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.57 是本机的 IP 地址
3) 这里的 port 1057 代表数据库使用到的端口是 1057，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1057.pid 代表使用的 PID 文件是 /var/run/redis_1057.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1057.conf 代表使用的数据库配置文件是 nodes-1057.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis8 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.58
......
port 1058
......
daemonize yes
......
pidfile /var/run/redis_1058.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1058.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.58 是本机的 IP 地址
3) 这里的 port 1058 代表数据库使用到的端口是 1058，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1058.pid 代表使用的 PID 文件是 /var/run/redis_1058.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1058.conf 代表使用的数据库配置文件是 nodes-1058.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

4.2 重启所有服务器上的 Redis 数据库

4.2.1 关闭 Redis 数据库

（分别在 redis7 和 redis8 上执行以下步骤）

# redis-cli shutdown

4.2.2 开启 Redis 数据库

（分别在 redis7 和 redis8 上执行以下步骤）

# /etc/init.d/redis_6379 start

4.3 将 redis7 和 redis8 添加到现有的 Redis 集群中

4.3.1 显示现有集群的状况

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51:1051

4.3.2 添加 redis7 并将其视为主数据库

（只在 redis1 上执行以下步骤）

# redis-cli --cluster add-node 192.168.1.57:1057 192.168.1.51:1051

4.3.3 添加 redis8 并将其视为从数据库

（只在 redis1 上执行以下步骤）

# redis-cli --cluster add-node 192.168.1.58:1058 192.168.1.51:1051 --cluster-slave

4.3.4 确认 redis7 和 redis8 已经加入到了集群中

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51:1051
192.168.1.51:1051 (5d030ec0...) -> 1 keys | 5461 slots | 1 slaves.
192.168.1.53:1053 (c4f884e7...) -> 2 keys | 5461 slots | 1 slaves.
192.168.1.52:1052 (7477c04d...) -> 1 keys | 5462 slots | 1 slaves.
192.168.1.57:1057 (10bb6a57...) -> 0 keys | 0 slots | 1 slaves.
[OK] 4 keys in 4 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.1.51:1051)
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   slots: (0 slots) slave
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
S: 93d8988475c754a3b58d5172522163664c391da2 192.168.1.58:1058
   slots: (0 slots) slave
   replicates 10bb6a5732f629ee62801417cb44ddb670e99e86
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   slots: (0 slots) slave
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: 10bb6a5732f629ee62801417cb44ddb670e99e86 192.168.1.57:1057
   slots: (0 slots) master
   1 additional replica(s)
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   slots: (0 slots) slave
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

4.4 让新加入的 redis 数据库也能存储数据

4.4.1 重新分配集群的存储块

（只在 redis1 上执行以下步骤）

# redis-cli --cluster reshard 192.168.1.51:1051
......
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? 10bb6a5732f629ee62801417cb44ddb670e99e86
......
Source node #1: all
......
Do you want to proceed with the proposed reshard plan (yes/no)? yes
......

4.4.2 确认集群的存储块已经覆盖所有主数据库

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51:1051
192.168.1.51:1051 (5d030ec0...) -> 0 keys | 4096 slots | 1 slaves.
192.168.1.53:1053 (c4f884e7...) -> 1 keys | 4096 slots | 1 slaves.
192.168.1.52:1052 (7477c04d...) -> 1 keys | 4096 slots | 1 slaves.
192.168.1.57:1057 (10bb6a57...) -> 2 keys | 4096 slots | 1 slaves.
[OK] 4 keys in 4 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.1.51:1051)
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[1365-5460] (4096 slots) master
   1 additional replica(s)
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   slots: (0 slots) slave
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
S: 93d8988475c754a3b58d5172522163664c391da2 192.168.1.58:1058
   slots: (0 slots) slave
   replicates 10bb6a5732f629ee62801417cb44ddb670e99e86
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   slots: (0 slots) slave
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[12288-16383] (4096 slots) master
   1 additional replica(s)
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[6827-10922] (4096 slots) master
   1 additional replica(s)
M: 10bb6a5732f629ee62801417cb44ddb670e99e86 192.168.1.57:1057
   slots:[0-1364],[5461-6826],[10923-12287] (4096 slots) master
   1 additional replica(s)
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   slots: (0 slots) slave
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

步骤五：将部分 Redis 数据库从集群中删除

（这里以删除 redis7 和 redis8 为例）

5.1 将存储块从要被删除的 redis 主数据库里拿走

（只在 redis1 上执行以下步骤）

# redis-cli --cluster reshard 192.168.1.51:1051
......
How many slots do you want to move (from 1 to 16384)? 4096
What is the receiving node ID? 5d030ec05f9de86ebeedc1b035b2122addaa61d8
......
Source node #1: 10bb6a5732f629ee62801417cb44ddb670e99e86
Source node #2: done
......
Do you want to proceed with the proposed reshard plan (yes/no)? yes
......

5.2 将部分 Redis 数据库从集群中删除

5.2.1 将作为主库的 Redis 数据库从集群中删除

（只在 redis1 上执行以下步骤）

# redis-cli --cluster del-node 192.168.1.57:1057 10bb6a5732f629ee62801417cb44ddb670e99e86
>>> Removing node 10bb6a5732f629ee62801417cb44ddb670e99e86 from cluster 192.168.1.57:1057
>>> Sending CLUSTER FORGET messages to the cluster...

5.2.2 将作为从库的 Redis 数据库从集群中删除

（只在 redis1 上执行以下步骤）

# redis-cli --cluster del-node 192.168.1.58:1058 023abbc600cd4fb1ca8bb7ce8c45099e186041f8
>>> Removing node 023abbc600cd4fb1ca8bb7ce8c45099e186041f8 from cluster 192.168.1.58:1058
>>> Sending CLUSTER FORGET messages to the cluster...
>>> SHUTDOWN the node.

5.3 确认部分 Redis 数据库已经从集群中删除

# redis-cli --cluster check 192.168.1.51:1051
192.168.1.51:1051 (5d030ec0...) -> 0 keys | 4096 slots | 1 slaves.
192.168.1.53:1053 (c4f884e7...) -> 1 keys | 4096 slots | 1 slaves.
192.168.1.52:1052 (7477c04d...) -> 1 keys | 4096 slots | 1 slaves.
[OK] 4 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.1.51:1051)
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[0-6826],[10923-12287] (4096 slots) master
   1 additional replica(s)
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   slots: (0 slots) slave
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
   replicates 10bb6a5732f629ee62801417cb44ddb670e99e86
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   slots: (0 slots) slave
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[12288-16383] (4096 slots) master
   1 additional replica(s)
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[6827-10922] (4096 slots) master
   1 additional replica(s)
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   slots: (0 slots) slave
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

软件准备：

在 Redis 的官网上下载软件 Redis：

https://redis.io/

在 rubygems 的官网上下载软件 rubygems

https://rubygems.org/

正文：

步骤一：规划拓扑

1.1 服务器列表

redis1 IP 地址:192.168.1.51 端口号：1051
redis2 IP 地址:192.168.1.52 端口号：1052
redis3 IP 地址:192.168.1.53 端口号：1053
redis4 IP 地址:192.168.1.54 端口号：1054
redis5 IP 地址:192.168.1.55 端口号：1055
redis6 IP 地址:192.168.1.56 端口号：1056

1.2 服务器列表简介

1) 总共 6 个数据库，3 个为主库，3 个为从库
2) 如果 1 个主库宕掉则它的从库自动成为主库
3) 宕掉的主库修复好后会成为新主库的从库
4) 如果半数或者半数以上的主库宕掉，集群则无法使用

（注意： Redis 集群最少要有 3 个主库）

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名
7) 至少要有一台服务器可以访问外网

步骤三：所有数据库服务器安装 Redis 数据库

3.1 安装 Redis 数据库的相关依赖包

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# yum -y install gcc gcc-c++ make

3.2 安装 Redis 数据库

3.2.1 解压安装包

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# tar -zxf redis-5.0.5.tar.gz

（补充：这里要安装的 Redis 版本是 5.0.5）

3.2.2 进入安装包目录

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# cd redis-5.0.5/

（补充：这里要安装的 Redis 版本是 5.0.5）

3.2.3 编译安装包

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# make

3.2.4 安装软件包

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# make install

3.2.5 进入配置目录

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# cd utils/

3.2.6 配置软件包

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

步骤四：搭建 Redis 数据库集群

4.1 修改所有服务器上的 Redis 数据库配置文件

（只在 redis1 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.51
......
port 1051
......
daemonize yes
......
pidfile /var/run/redis_1051.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1051.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.51 是本机的 IP 地址
3) 这里的 port 1051 代表数据库使用到的端口是 1051，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1051.pid 代表使用的 PID 文件是 /var/run/redis_1051.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1051.conf 代表使用的数据库配置文件是 nodes-1051.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis2 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.52
......
port 1052
......
daemonize yes
......
pidfile /var/run/redis_1052.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1052.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.52 是本机的 IP 地址
3) 这里的 port 1052 代表数据库使用到的端口是 1052，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1052.pid 代表使用的 PID 文件是 /var/run/redis_1052.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1052.conf 代表使用的数据库配置文件是 nodes-1052.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis3 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.53
......
port 1053
......
daemonize yes
......
pidfile /var/run/redis_1053.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1053.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.53 是本机的 IP 地址
3) 这里的 port 1053 代表数据库使用到的端口是 1053，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1053.pid 代表使用的 PID 文件是 /var/run/redis_1053.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1053.conf 代表使用的数据库配置文件是 nodes-1053.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis4 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.54
......
port 1054
......
daemonize yes
......
pidfile /var/run/redis_1054.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1054.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.54 是本机的 IP 地址
3) 这里的 port 1054 代表数据库使用到的端口是 1054，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1054.pid 代表使用的 PID 文件是 /var/run/redis_1054.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1054.conf 代表使用的数据库配置文件是 nodes-1054.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis5 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.55
......
port 1055
......
daemonize yes
......
pidfile /var/run/redis_1055.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1055.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.55 是本机的 IP 地址
3) 这里的 port 1055 代表数据库使用到的端口是 1055，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1055.pid 代表使用的 PID 文件是 /var/run/redis_1055.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1055.conf 代表使用的数据库配置文件是 nodes-1055.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

（只在 redis6 上执行以下步骤）

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.56
......
port 1056
......
daemonize yes
......
pidfile /var/run/redis_1056.pid
......
cluster-enabled yes
......
cluster-config-file nodes-1056.conf
......
cluster-node-timeout 5000
......

（
补充：
1) 这里的 #bind 127.0.0.1 代表取消数据库可以被本地登录
2) 这里的 bind 192.168.1.56 是本机的 IP 地址
3) 这里的 port 1056 代表数据库使用到的端口是 1056，集群里的各个数据库端口号不能一样
4) 这里的 daemonize yes 代表以进程的形式启动
5) 这里的 pidfile /var/run/redis_1056.pid 代表使用的 PID 文件是 /var/run/redis_1056.pid，集群里的各个数据库 PID 文件不能一样
6) 这里的 cluster-enabled yes 代表启用集群，但是前面的 daemonize 必须也启用
7) 这里的 cluster-config-file nodes-1056.conf 代表使用的数据库配置文件是 nodes-1056.conf，集群里的各个数据库的配置文件不能一样
8) 这里的 cluster-node-timeout 5000 代表集群通信超时时间为 5000
）

4.2 重启所有服务器上的 Redis 数据库

4.2.1 关闭 Redis 数据库

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# redis-cli shutdown

4.2.2 开启 Redis 数据库

（分别在 redis1、redis2、redis3、redis4、redis5 和 redis6 上执行以下步骤）

# /etc/init.d/redis_6379 start

4.3 显示目前的集群信息

（此步骤可以在任意服务器上操作，这里以在 redis1 上操作为例）

4.3.1 进入数据库

（只在 redis1 上执行以下步骤）

# redis-cli -h 192.168.1.51 -p 1051

4.3.2 显示数据库是否可用

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> ping
PONG

4.3.3 显示集群信息

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:1
cluster_size:0
cluster_current_epoch:0
cluster_my_epoch:0
cluster_stats_messages_sent:0
cluster_stats_messages_received:0

4.4 部署 Redis 集群环境

4.4.1 部署 Ruby 脚本运行环境

（此步骤可以在任意服务器上操作，但是这台服务器必须要可以访问外网，这里以在 redisA 上操作为例）

4.4.1.1 安装 Ruby

（只在 redis1 上执行以下步骤）

# yum -y install ruby rubygems ruby-devel

4.4.1.2 升级 Ruby

4.4.1.2.1 解压 Ruby 安装包

（只在 redis1 上执行以下步骤）

# tar -xvf rubygems-3.0.6.tgz 

（补充：这里要安装的 rubygems 版本是 3.0.6）

4.4.1.2.2 进入 Ruby 安装包目录

（只在 redis1 上执行以下步骤）

# cd rubygems-3.0.6

（补充：这里要安装的 rubygems 版本是 3.0.6）

4.4.1.2.3 升级 Ruby

（只在 redis1 上执行以下步骤）

# ruby setup.rb

4.4.1.3 安装 Redis 模块

（只在 redis1 上执行以下步骤）

# gem install redis -v 3.3.5
Fetching: redis-3.3.5.gem (100%)
Successfully installed redis-3.3.5
Parsing documentation for redis-3.3.5
Installing ri documentation for redis-3.3.5
1 gem installed

4.4.2 部署 Redis 集群文件

4.4.2.1 创建 Redis 集群文件的目录

（只在 redis1 上执行以下步骤）

# mkdir /root/bin

4.4.2.2 复制 Redis 集群文件

（只在 redis1 上执行以下步骤）

# cp redis-5.0.5/src/redis-trib.rb /root/bin

4.4.2.3 给 Redis 集群文件添加执行权限

（只在 redis1 上执行以下步骤）

# chmod +x /root/bin/redis-trib.rb

4.5 创建 Redis 集群

（只在 redis1 上执行以下步骤）

# redis-cli --cluster create 192.168.1.51:1051 192.168.1.52:1052 192.168.1.53:1053 192.168.1.54:1054 192.168.1.55:1055 192.168.1.56:1056 --cluster-replicas 1
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.1.55:1055 to 192.168.1.51:1051
Adding replica 192.168.1.56:1056 to 192.168.1.52:1052
Adding replica 192.168.1.54:1054 to 192.168.1.53:1053
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[0-5460] (5461 slots) master
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[5461-10922] (5462 slots) master
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[10923-16383] (5461 slots) master
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
...
>>> Performing Cluster Check (using node 192.168.1.51:1051)
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   slots: (0 slots) slave
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   slots: (0 slots) slave
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   slots: (0 slots) slave
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

4.6 显示集群中主机状态信息的方法

4.6.1 方法一

4.6.1.1 进入数据库

（只在 redis1 上执行以下步骤）

# redis-cli -h 192.168.1.51 -p 1051

4.6.1.2 显示集群整体信息

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:30858
cluster_stats_messages_pong_sent:29942
cluster_stats_messages_sent:60800
cluster_stats_messages_ping_received:29937
cluster_stats_messages_pong_received:30858
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:60800

4.6.1.3 显示集群主从关系

（只在 redis1 上执行以下步骤）

192.168.1.53:1053> cluster nodes
eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055@11055 slave 5d030ec05f9de86ebeedc1b035b2122addaa61d8 0 1574754846521 5 connected
a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054@11054 slave c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 0 1574754846000 4 connected
fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056@11056 slave 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 0 1574754845819 6 connected
5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051@11051 master - 0 1574754846822 1 connected 0-5460
7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052@11052 master - 0 1574754846000 2 connected 5461-10922
c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053@11053 myself,master - 0 1574754844000 3 connected 10923-16383

4.6.1.4 退出数据库

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> quit

4.6.2 方法二

4.6.2.1 显示集群整体信息

（只在 redis1 上执行以下步骤）

# redis-cli --cluster info 192.168.1.51 1051
192.168.1.51:1051 (5d030ec0...) -> 1 keys | 5461 slots | 1 slaves.
192.168.1.53:1053 (c4f884e7...) -> 1 keys | 5461 slots | 1 slaves.
192.168.1.52:1052 (7477c04d...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 3 keys in 3 masters.
0.00 keys per slot on average.

4.6.2.2 显示集群主从关系

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51 1051
192.168.1.51:1051 (5d030ec0...) -> 1 keys | 5461 slots | 1 slaves.
192.168.1.53:1053 (c4f884e7...) -> 1 keys | 5461 slots | 1 slaves.
192.168.1.52:1052 (7477c04d...) -> 1 keys | 5462 slots | 1 slaves.
[OK] 3 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.1.51:1051)
M: 5d030ec05f9de86ebeedc1b035b2122addaa61d8 192.168.1.51:1051
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: eac6a0586ad00375bea9aa352951c784be57e9ad 192.168.1.55:1055
   slots: (0 slots) slave
   replicates 5d030ec05f9de86ebeedc1b035b2122addaa61d8
M: c4f884e7e4ce6adb4f5bc4f6eb398680beb26089 192.168.1.53:1053
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
M: 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30 192.168.1.52:1052
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
S: fd973bbcc376bfccf5888ba06dba97feb9ef1273 192.168.1.56:1056
   slots: (0 slots) slave
   replicates 7477c04d8ebf9d498ed5586d5f4e6d513fdb3c30
S: a5cddda6c1bc7c6d3397e17e1ba29571bb7a1657 192.168.1.54:1054
   slots: (0 slots) slave
   replicates c4f884e7e4ce6adb4f5bc4f6eb398680beb26089
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

步骤五：Redis 集群创建失败的解决办法

5.1 关闭所有 Redis服务器的 Redis 服务

（只在加入集群失败的服务器上执行以下步骤）

# redis-cli -h <IP address of this server> -p <port number used by redis of this server> shutdowm

5.2 删除所有原来的 Redis 数据

（只在加入集群失败的服务器上执行以下步骤）

# rm -rf /var/lib/redis/6379/*

5.3 重启 Redis 数据库

（只在加入集群失败的服务器上执行以下步骤）

# /etc/init.d/redis_6379 start

5.4 按照前面的步骤重新执行创建集群

（只在加入集群失败的服务器上执行以下步骤）

（步骤略）

步骤六：测试 Redis 集群

6.1 数据同步测试

6.1.1 进入数据库

（只在 redis1 上执行以下步骤）

# redis-cli -h 192.168.1.51 -p 1051

（只在 redis2 上执行以下步骤）

# redis-cli -h 192.168.1.52 -p 1052

（只在 redis3 上执行以下步骤）

# redis-cli -h 192.168.1.53 -p 1053

（只在 redis4 上执行以下步骤）

# redis-cli -h 192.168.1.54 -p 1054

（只在 redis5 上执行以下步骤）

# redis-cli -h 192.168.1.55 -p 1055

（只在 redis6 上执行以下步骤）

# redis-cli -h 192.168.1.56 -p 1056

6.1.2 确认现在的 Redis 数据库都是空的

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> keys *

（只在 redis2 上执行以下步骤）

192.168.1.51:1052> keys *

（只在 redis3 上执行以下步骤）

192.168.1.51:1053> keys *

（只在 redis4 上执行以下步骤）

192.168.1.51:1054> keys *

（只在 redis5 上执行以下步骤）

192.168.1.51:1055> keys *

（只在 redis6 上执行以下步骤）

192.168.1.51:1056> keys *

6.1.3 在主 Redis 数据库上插入数据

（补充：本次的主数据库是 redis1、redis2、redis3）

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> set aa 101
-> Redirected to slot [15495] located at 192.168.1.53:1053
OK

（只在 redis2 上执行以下步骤）

192.168.1.52:1052> set bb 102
-> Redirected to slot [3300] located at 192.168.1.51:1051
OK

（只在 redis3 上执行以下步骤）

192.168.1.53:1053> set ff 103
-> Redirected to slot [7365] located at 192.168.1.52:1052
OK

6.1.4 查看刚插入的数据

（只在 redis1 上执行以下步骤）

192.168.1.51:1051> keys *
1) "aa"

（只在 redis2 上执行以下步骤）

192.168.1.51:1052> keys *
1) "bb"

（只在 redis3 上执行以下步骤）

192.168.1.51:1053> keys *
1) "ff"

（只在 redis4 上执行以下步骤）

192.168.1.51:1054> keys *
1) "ff"

（只在 redis5 上执行以下步骤）

192.168.1.51:1055> keys *
1) "aa"

（只在 redis6 上执行以下步骤）

192.168.1.51:1056> keys *
1) "bb"

（
补充：
1) 对应的从库会自动同步主库的数据
2) 本次的主数据库是 redis1（从库是 redis5）、redis2（从库是 redis6）、redis3（从库是 redis4)
)

6.2 高可用测试

6.2.1 模拟此时主库宕机后，对应的从库会自动升级为主库但需要 5 分钟的时间

（只在模拟宕机的主库服务器上执行以下步骤）

# redis-cli -h <IP address of this server> -p <port number used by redis of this server> shutdown

6.2.2 等待 5 分钟后显示集群主从关系

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51 1051

6.2.3 主库恢复后会成为新主库的从库

（只在模拟宕机的主库服务器上执行以下步骤）

# /etc/init.d/redis_6379 start

6.2.4 再次显示集群主从关系

（只在 redis1 上执行以下步骤）

# redis-cli --cluster check 192.168.1.51 1051

步骤一：硬盘加密后的注意事项

1) 加密后不能直接挂载
2) 加密后硬盘丢失也不用担心数据被盗
3) 加密后必须做映射才能挂载

步骤二：生成一个新的分区

2.1 显示现有的分区

# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom  
vda    253:0    0   10G  0 disk 
└─vda1 253:1    0   10G  0 part /
vdb    253:16   0   10G  0 disk 

（补充：在这里是加了一个 vdb 硬盘用来进行分区并加密）

2.2 创建一个新的分区

# fdisk /dev/vdb
命令(输入 m 获取帮助)：n
分区号 (1-8，默认 1)：
起始 扇区 (0-20971440，默认 0)：
Last 扇区 or +扇区 or +size{K,M,G,T,P} (0-20971440，默认 20971440)：+5G
分区 1 已设置为 Linux native 类型，大小设为 5 GiB

命令(输入 m 获取帮助)：w
The partition table has been altered!

2.2 显示新的分区

# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom  
vda    253:0    0   10G  0 disk 
└─vda1 253:1    0   10G  0 part /
vdb    253:16   0   10G  0 disk 
└─vdb1 253:17   0    5G  0 part 

步骤三：创建逻辑卷

3.1 创建卷组

# vgcreate mysqldatavg /dev/vdb1
WARNING: sun signature detected on /dev/vdb1 at offset 508. Wipe it? [y/n]: y
  Wiping sun signature on /dev/vdb1.
  Physical volume "/dev/vdb1" successfully created.
  Volume group "mysqldatavg" successfully created

3.2 创建逻辑卷

# lvcreate -n mysqldatalv -L 1G mysqldatavg
  Logical volume "mysqldatalv" created.

步骤四：给逻辑卷加密

4.1 给逻辑卷加密

# cryptsetup luksFormat /dev/mapper/mysqldatavg-mysqldatalv

WARNING!
========
这将覆盖 /dev/mapper/mysqldatavg-mysqldatalv 上的数据，该动作不可取消。

Are you sure? (Type uppercase yes): YES
输入 /dev/mapper/mysqldatavg-mysqldatalv 的口令：
确认密码：

4.2 解锁逻辑卷

# cryptsetup luksOpen /dev/mapper/mysqldatavg-mysqldatalv mysqldata
输入 /dev/mapper/mysqldatavg-mysqldatalv 的口令：

（补充：这里的 mysqldata 是解锁后的硬件名称）

4.3 格式化逻辑卷

# mkfs.ext4 /dev/mapper/mysqldata

（注意：要先解锁了逻辑卷以后才能格式化逻辑卷）

4.4 锁住逻辑卷

# cryptsetup luksClose mysqldata

内容五：自动挂载加密逻辑卷

5.1 修改系统自动挂载文件

# vim /etc/fstab

添加以下内容：

......
/dev/mapper/mysqldata /var/lib/mysql ext4 defaults 0 0

5.2 创建一个映射器

# vim /etc/cypttab

添加以下内容：

......
mysqldata /dev/mapper/mysqldatavg-mysqldatalv /root/keyfile luks

（补充：这里的三个参数分别代表：虚拟设备名、真实设备、密码的存储文件）

5.3 创建随机密钥文件

# dd if=/dev/urandom of=/root/keyfile bs=1024 count=4

5.4 将密钥文件设为只读

# chmod 0400 /root/keyfile

5.5 将密码添到 luks 中，让密码立刻生效

# cryptsetup luksAddKey /dev/mysqldatavg/mysqldatalv /root/keyfile
输入任意已存在的口令:

5.6 测试挂载效果

5.6.1 挂载加密逻辑卷

# mount -a

5.6.2 测试加密效果

# df -h

软件准备：

在 MySQL 的官网上下载安装数据库所需要的软件包 MySQL：

https://dev.mysql.com/downloads/mysql/

正文：

步骤一：系统环境要求

1) 服务器的系统需要是 CentOS Linux 7 版本
2) 服务器系统需要有软件源

步骤二：部署安装 MySQL 的环境

2.1 删除系统上的 MariaDB

# systemctl stop mariadb
# rm -rf /var/lib/mysql/*
# rpm -e --nodeps mariadb-server mariadb 

2.2 确保当前目录下拥有如下安装包

# ls
mysql-community-client-8.0.18-1.el7.x86_64.rpm
mysql-community-common-8.0.18-1.el7.x86_64.rpm
mysql-community-devel-8.0.18-1.el7.x86_64.rpm
mysql-community-libs-8.0.18-1.el7.x86_64.rpm
mysql-community-server-8.0.18-1.el7.x86_64.rpm

（补充：这里要安装的是 MySQL 是 8.0.18 社区版）

步骤三：安装 MySQL 数据库

# yum -y localinstall mysql-community-*

步骤四：启动 MySQL 数据库

# systemctl start mysqld

步骤五：修改 MySQL 数据库的 root 密码

5.1 显示初始的 root 密码

# grep 'temporary password' /var/log/mysqld.log 
2019-11-09T09:37:31.347523Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: wAA!w,?e#M2J

（补充：这里查出来的密码是 wAA!w,?e#M2J）

5.2 进入数据库

# mysql -u root -p'wAA!w,?e#M2J'

（补充：这里使用的密码是 wAA!w,?e#M2J）

5.3 修改 root 密码

> alter user user() identified by '<password>';

5.4 退出数据库

> quit;

软件准备：

在 MySQL 的官网上下载安装数据库所需要的软件包 MySQL 的 yum 源安装包：

https://dev.mysql.com/downloads/repo/yum/

正文：

步骤一：系统环境要求

1) 服务器的系统需要是 CentOS Linux 7 版本
2) 服务器系统配置好可用的软件源

步骤二：部署安装 MySQL 的环境

2.1 删除系统上的 MariaDB

# systemctl stop mariadb
# rm -rf /var/lib/mysql/*
# rpm -e --nodeps mariadb-server mariadb

2.2 安装 MySQL 的官方软件源

# yum -y localinstall mysql80-community-release-el7-3.noarch.rpm

（补充：这里安装的是 MySQL 是 8.0.18 社区版）

步骤三：安装 MySQL 数据库

# yum -y install mysql-community-server

步骤四：启动 MySQL 数据库

# systemctl start mysqld

步骤五：修改 MySQL 数据库的 root 密码

5.1 显示初始的 root 密码

# grep 'temporary password' /var/log/mysqld.log
2019-11-09T10:04:20.237976Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: 2gSiAAV!+c-1

（补充：这里查出来的密码是 wAA!w,?e#M2J）

5.2 进入数据库

# mysql -u root -p'2gSiAAV!+c-1'

（补充：这里使用的密码是 wAA!w,?e#M2J）

5.3 修改 root 密码

> alter user user() identified by '<password>';

5.4 退出数据库

> quit;

步骤一：规划拓扑

1.1 服务器列表

数据库服务器 21 IP 地址:192.168.1.21
数据库服务器 22 IP 地址:192.168.1.22

1.2 服务器列表简介

数据库服务器 21 和 数据库服务器 22 相互同步对方的数据

步骤二：系统环境要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机名
6) 所有服务器都要可以相互 ping 通自己和对方的 IP 地址和主机名

步骤三：所有数据库服务器安装 MariaDB 或 MySQL 数据库

3.1 所有数据库服务器安装 MariaDB 或 MySQL

（分别在数据库服务器 21 和数据库服务器 22 上执行以下步骤）

# yum -y install mariadb-server

（补充：这里以安装 MariaDB 数据库为例）

3.2 设置所有数据库服务器开机自启 MariaDB 或 MySQL

（分别在数据库服务器 21 和数据库服务器 22 上执行以下步骤）

# systemctl enable mariadb

（补充：这里以开机自启 MariaDB 数据库为例）

步骤四：配置 MairaDB & MySQL 互为主从结构

4.1 将数据库服务器 22 设置为数据库服务器 21 的从库

4.1.1 开启数据库服务器 21 的 server-id 和 binlog 日志

（只在数据库服务器 21 上执行以下步骤）

# vi /etc/my.cnf

将部分内容修改如下：

[mysqld]
server-id=1
log-bin=mariadb-bin
......

（
补充：这里以
1) 将 server-id 设置为 1
2) 启动 binlog 日志，并将 binlog 日志的前缀设置为 mariadb-bin
为例
）

（注意： 集群里的各个数据库的 server id 不能一样）

4.1.2 重启数据库服务器 21 的数据库

（只在数据库服务器 21 上执行以下步骤）

# systemctl restart mariadb

（补充：这里以重启 MariaDB 数据库为例）

4.1.3 在数据库服务器 21 的数据库中创建用于同步的用户

4.1.3.1 进入数据库

（只在数据库服务器 21 上执行以下步骤）

# mysql -p

4.1.3.2 创建数据库服务器 21 用于被数据库服务器 22 同步的 MariaDB 用户

（只在数据库服务器 21 上执行以下步骤）

> grant replication slave on *.* to 'backup'@'192.168.1.22' identified by 'backup';

4.1.3.3 刷新数据库服务器 21 里所有用户的权限

（只在数据库服务器 21 上执行以下步骤）

> flush privileges;

4.1.3.4 显示数据库服务器 21 的 MariaDB 的主库参数

（只在数据库服务器 21 上执行以下步骤）

> show master status;
+--------------------+----------+--------------+------------------+
| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| mariadb-bin.000003 |      475 |              |                  |
+--------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

（补充：这里显示的 master_log_file 和 master_log_pos 的参数会在后面配置从库中使用）

4.1.4 让数据库服务器 22 同步数据库服务器 21

4.1.4.1 启动数据库服务器 22

（只在数据库服务器 22 上执行以下步骤）

# systemctl start mariadb

（补充：这里以启动 MariaDB 数据库为例）

4.1.4.2 进入数据库服务器 22 的数据库

（只在数据库服务器 22 上执行以下步骤）

# mysql -p

4.1.4.3 同步主库

（只在数据库服务器 22 上执行以下步骤）

> change master to master_host="192.168.1.21",master_user='backup',master_password='backup',master_log_file='mariadb-bin.000003',master_log_pos=475;

4.1.4.4 启动从库状态

（只在数据库服务器 22 上执行以下步骤）

> start slave;

4.1.4.5 显示从库状态

（只在数据库服务器 22 上执行以下步骤）

> show slave status\G;
          Master_Host: 192.168.1.21
              ......
          Slave_IO_Running: Yes  
          Last_IO_Error: ......
              ......
          Slave_SQL_Running: Yes
          Last_SQL_Error: ......
              ......

（补充：这里显示它的主服务器是 192.168.1.21）

（注意：这里要确保 Slave_IO_Running: 和 Slave_SQL_Running: 后面没有报错信息）

4.2 将数据库服务器 21 设置为数据库服务器 22 的从库

4.2.1 关闭数据库服务器 22 的数据库

（只在数据库服务器 22 上执行以下步骤）

# systemctl stop mariadb

（补充：这里以停止 MariaDB 数据库为例）

4.2.2 开启数据库服务器 21 的 server-id 和 binlog 日志

（只在数据库服务器 22 上执行以下步骤）

# vi /etc/my.cnf

（将部分内容修改如下）

[mysqld]
server-id=2
log-bin=mariadb-bin
......

（
补充：这里以
1) 将 server-id 设置为 2
2) 启动 binlog 日志，并将 binlog 日志的前缀设置为 mariadb-bin
为例
）

（注意： 集群里的各个数据库的 server id 不能一样）

4.2.3 启动数据库服务器 22 的数据库

（只在数据库服务器 22 上执行以下步骤）

# systemctl start mariadb

（补充：这里以重启 MariaDB 数据库为例）

4.2.4 在数据库服务器 22 的数据库中创建用于同步的用户

4.2.4.1 进入数据库

（只在数据库服务器 22 上执行以下步骤）

# mysql -p

4.2.4.2 创建数据库服务器 21 用于被数据库服务器 22 同步的 MariaDB 用户

（只在数据库服务器 22 上执行以下步骤）

> grant replication slave on *.* to 'backup'@'192.168.1.21' identified by 'backup';

4.2.4.3 刷新数据库服务器 22 数据库里所有用户的权限

（只在数据库服务器 22 上执行以下步骤）

> flush privileges;

4.2.4.4 显示数据库服务器 22 的 MariaDB 的主库参数

（只在数据库服务器 22 上执行以下步骤）

> show master status;
+--------------------+----------+--------------+------------------+
| File               | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+--------------------+----------+--------------+------------------+
| mariadb-bin.000003 |      475 |              |                  |
+--------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

（补充：这里显示的 master_log_file 和 master_log_pos 的参数会在后面配置从库中使用）

4.2.5 让数据库服务器 21 同步数据库服务器 22

4.2.5.1 进入数据库服务器 21 的数据库

（只在数据库服务器 21 上执行以下步骤）

# mysql -p

4.2.5.2 同步主库

（只在数据库服务器 21 上执行以下步骤）

> change master to master_host="192.168.1.22",master_user='backup',master_password='backup',master_log_file='mariadb-bin.000003',master_log_pos=475;

4.2.5.3 启动从库状态

（只在数据库服务器 21 上执行以下步骤）

> start slave;

4.2.5.4 显示从库状态

（只在数据库服务器 21 上执行以下步骤）

> show slave status\G;
          Master_Host: 192.168.1.22
              ......
          Slave_IO_Running: Yes  
          Last_IO_Error: ......
              ......
          Slave_SQL_Running: Yes
          Last_SQL_Error: ......
              ......

（补充：这里显示它的主服务器是 192.168.1.21）

（注意：这里要确保 Slave_IO_Running: 和 Slave_SQL_Running: 后面没有报错信息）

步骤五：测试 MariaDB & MySQL 互为主从集群

5.1 进入数据库

（分别在数据库服务器 21 和数据库服务器 22 上执行以下步骤）

# mysql -uroot -p

5.2 创建测试库

（只在数据库服务器 21 上执行以下步骤）

> create database test1;

5.3 进入测试库

（分别在数据库服务器 21 和数据库服务器 22 上执行以下步骤）

> use test1;

5.4 创建测试表

（只在数据库服务器 21 上执行以下步骤）

> create table test1a(id int(10),name char(100),age int(10));

（补充：这里随意创建了一张表格）

5.5 在数据库服务器 21 上插入测试数据

（只在数据库服务器 21 上执行以下步骤）

> insert into test1a(id,name,age) values('1','zmy','10');

（补充：这里随意插入了一条数据）

5.6 在数据库服务器 22 上插入测试数据

（只在数据库服务器 22 上执行以下步骤）

> insert into test1a(id,name,age) values('2','ming','20');

（补充：这里随意插入了一条数据）

5.7 在两个数据库里都可以看到对方插入的测试数据

（分别在数据库服务器 21 和数据库服务器 22 上执行以下步骤）

> select * from test1a;
+------+------+------+
| id   | name | age  |
+------+------+------+
|    1 | zmy  |   10 |
|    2 | ming |   20 |
+------+------+------+
2 rows in set (0.00 sec)

软件准备：

在 Hadoop 官网上下载搭建平台所需软件 Hadoop（本次实验使用的是 hadoop-3.2.1.tar.gz）：

http://hadoop.apache.org/

正文：

步骤一：硬件环境要求

1) CPU：双核
2) 内存：2G 以上
3) 硬盘：10G 以上

步骤二：系统环境要求

1) 服务器的系统需要是 CentOS Linux 7 版本
2) 服务器系统要配置好可用的软件源
3) 服务器要能 ping 通自己的主机名

步骤三：软件环境要求

3.1 安装 Hadoop 所需的 Java 环境

# yum install java-1.8.0-openjdk-devel

（补充：这里安装 java-openjdk-devel 的版本是 1.8.0）

3.2 显示本机在 Java 环境下所处的角色

# jps

步骤四：安装 Hadoop

4.1 解压 Hadoop 安装包

# tar -xvf hadoop-3.2.1.tar.gz

（补充：这里要安装的 hadoop 版本是 3.2.1）

4.2 创建 Hadoop 的安装目录

# mkdir /usr/local/hadoop

4.3 安装 Hadoop

# mv hadoop-3.2.1/* /usr/local/hadoop

（补充：这里安装的是 hadoop-3.2.1.tar.gz）

4.4 第 1 次启动 Hadoop 会提示报错

/usr/local/hadoop/bin/hadoop
Error: JAVA_HOME is not set and could not be found.

（补充：造成这种原因，主要是他找不到自己的配置文件和自己所需要的配置文件）

4.5 解决第 1 次启动 Hadoop 报错的问题

4.5.1 解决第 1 次启动 Hadoop 报错问题的思路

先确认刚刚安装的 java-1.8.0-openjdk-devel 软件的安装位置，然后再将这个位置写到 Hadoop 的配置文件里

4.5.2 显示 java-1.8.0-openjdk-devel 软件的安装位置

# rpm -ql java-1.8.0-openjdk
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre/bin/policytool
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre/lib/amd64/libawt_xawt.so
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre/lib/amd64/libjawt.so
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre/lib/amd64/libjsoundalsa.so
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre/lib/amd64/libsplashscreen.so
/usr/share/applications/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64-policytool.desktop
/usr/share/icons/hicolor/16x16/apps/java-1.8.0.png
/usr/share/icons/hicolor/24x24/apps/java-1.8.0.png
/usr/share/icons/hicolor/32x32/apps/java-1.8.0.png
/usr/share/icons/hicolor/48x48/apps/java-1.8.0.png

（补充：可以看出这里是安装目录：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre）

4.5.3 在 Hadoop 的配置文件里指定 java-openjdk-devel 和 Hadoop 配置文件的安装位置

# vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将以下内容：

......
54 # export JAVA_HOME=
......
68 # export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
......

修改为：

......
54 export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64/jre"
......
68 export HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
......

步骤五：启动 Hadoop

# /usr/local/hadoop/bin/hadoop
Usage: hadoop [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]
 or    hadoop [OPTIONS] CLASSNAME [CLASSNAME OPTIONS]
  where CLASSNAME is a user-provided Java class

  OPTIONS is none or any of:

buildpaths                       attempt to add class files from build tree
--config dir                     Hadoop config directory
--debug                          turn on shell script debug mode
--help                           usage information
hostnames list[,of,host,names]   hosts to use in slave mode
hosts filename                   list of hosts to use in slave mode
loglevel level                   set the log4j level for this command
workers                          turn on worker mode

  SUBCOMMAND is one of:


    Admin Commands:

daemonlog     get/set the log level for each daemon

    Client Commands:

archive       create a Hadoop archive
checknative   check native Hadoop and compression libraries availability
classpath     prints the class path needed to get the Hadoop jar and the required libraries
conftest      validate configuration XML files
credential    interact with credential providers
distch        distributed metadata changer
distcp        copy file or directories recursively
dtutil        operations related to delegation tokens
envvars       display computed Hadoop environment variables
fs            run a generic filesystem user client
gridmix       submit a mix of synthetic job, modeling a profiled from production load
jar <jar>     run a jar file. NOTE: please use "yarn jar" to launch YARN applications, not this
              command.
jnipath       prints the java.library.path
kdiag         Diagnose Kerberos Problems
kerbname      show auth_to_local principal conversion
key           manage keys via the KeyProvider
rumenfolder   scale a rumen input trace
rumentrace    convert logs into a rumen trace
s3guard       manage metadata on S3
trace         view and modify Hadoop tracing settings
version       print the version

    Daemon Commands:

kms           run KMS, the Key Management Server

SUBCOMMAND may print help when invoked w/o parameters or with -h.

注意：

在设置 Redis 端口号、IP 地址、登录密码之前需要先安装 Redis

正文：

步骤一：在设置 Redis 端口号、IP 地址和登录密码之前的准备工作

1.1 备份 Redis的 原配置文件

# cp /etc/redis/6379.conf /root/6379.conf.bak

1.2 停止正在运行的 Redis 配置服务

# /etc/init.d/redis_6379 stop

步骤二：设置 Redis 端口号、 IP 地址和登录密码

2.1 修改 Redis 的配置文件

# vim /etc/redis/6379.conf

将部分内容修改如下：

......
#bind 127.0.0.1
bind 192.168.1.51
......
port 6370
......
requirepass 123456
......

(
补充：
1) 这里的本地的 IP 地址是 192.168.1.51
2) 这里自定义的端口号是 6370
3) 这里设置的密码是 123456
)

2.2 启动修改配置文件之后的 Redis 服务

# /etc/init.d/redis_6379 start
Starting Redis server...

2.3 显示新启动的 Redis 所使用的端口号

# ss -antul | grep 6370
tcp    LISTEN     0      128    192.168.4.51:6370       *:*

（补充：这里显示到的端口号是 6370）

步骤三：登录自定义了端口号、IP 地址和密码的 Redis 数据库的方法

3.1 登录方法一：在连接 Redis 数据库时加上端口号、IP 地址之后再输入密码

# redis-cli -h 192.168.1.51 -p 6370
192.168.1.51:6370> ping
(error) NOAUTH Authentication required.
192.168.1.51:6370> auth 123456
OK
192.168.1.51:6370> ping
PONG

(
补充：
1) 这里的本地的 IP 地址是 192.168.1.51
2) 这里的端口号是 6370
3) 这里使用的密码是 123456
)

3.2 登录方法二：在连接 Redis 数据库时同时加上端口号、IP 地址和密码

# redis-cli -h 192.168.1.51 -p 6370 -a 123456
192.168.4.51:6370> ping
PONG

(
补充：
1) 这里的本地的 IP 地址是 192.168.1.51
2) 这里的端口号是 6370
3) 这里使用的密码是 123456
)

步骤四：停止自定义了端口号、IP 地址和密码的 Redis 数据库的方法

4.1 使用默认的方法停止自定义了端口号、IP 地址和密码的 Redis 数据库会报错

# /etc/init.d/redis_6379 stop
Stopping ...
Could not connect to Redis at 127.0.0.1:6370: Connection refused
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...
Waiting for Redis to shutdown ...
...

4.2 停止自定义了端口号、IP 地址和密码的 Redis 数据库的方法

# redis-cli -h 192.168.1.51 -p 6370 -a 123456 shutdown
# ss -antul | grep 6370

(
补充：
1) 这里的本地的 IP 地址是 192.168.1.51
2) 这里的端口号是 6370
3) 这里使用的密码是 123456
)

软件准备：

在 Redis 的官网上下载软件 Redis：

https://redis.io/

正文：

步骤一：系统环境要求

1) 服务器的系统需要是 CentOS Linux 7 版本
2) 服务器系统需要有软件源

步骤二：安装 Redis 数据库

2.1 安装 Redis 数据库的相关依赖包

# yum -y install gcc gcc-c++ make

2.2 安装 Redis 数据库

2.2.1 解压安装包

# tar -zxf redis-5.0.5.tar.gz

（补充：这里要安装的 Redis 版本是 5.0.5）

2.2.2 进入安装包目录

# cd redis-5.0.5/

（补充：这里要安装的 Redis 版本是 5.0.5）

2.2.3 编译安装包

# make

2.2.4 安装软件包

# make install

2.2.5 进入配置目录

# cd utils/

2.2.6 配置软件包

# ./install_server.sh
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] 
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] 
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

软件准备：

在 Nginx 官网上下载搭建集群所需软件 Nginx：

http://nginx.org/en/download.html

正文：

步骤一：系统环境要求

（1）服务器的系统需要是 CentOS Linux 7 版本
（2）服务器系统需要有 yum 源

步骤二：安装 Nginx 的依赖软件

# yum -y install gcc pcre-devel openssl-devel

步骤三：安装 Nginx

3.1 添加一个用于启动 Nginx 的用户身份

# useradd -s /sbin/nologin nginx

3.2 解压 Nginx 安装包

# tar -xvf nginx-1.16.1.tar.gz

（补充：这里要安装的 Nginx 版本是 1.16.1）

3.3 进入 Nginx 安装包目录

# cd nginx-1.16.1

（补充：这里要安装的 Nginx 版本是 1.16.1）

3.4 配置 Nginx

# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module

3.5 编译并安装 Nginx

# make && make install

步骤四：测试 Nginx

4.1 启动 Nginx

# /usr/local/nginx/sbin/nginx

4.2 访问 Nginx 实现的网页服务

# curl 127.0.0.1

4.3 显示已安装 Nginx 的版本

# /usr/local/nginx/sbin/nginx -V

注意：

在实现 FTP + Pacemaker 存储服务高可用之前要先安装 Pacemaker 集群 ，并且需要 root 权限

正文：

步骤一：Pacemaker 高可用 FTP 服务的解析

1.1 集群本身需要的服务

需要额外一台服务器提供 Iscasi 远程目录服务

1.2 本 Pacemaker 高可用 FTP 服务的特点

1) 使用其他服务器提供的 Iscasi 服务器作为 FTP 的共享目录
2) 提供 FTP 服务
4) 提供虚拟 IP 服务
5) 以上三项服务器都实现高可用
6) 唯一的单点故障在于额外的那台服务器提供的 Iscasi 远程目录服务器

步骤二：前期准备所有集群主机上都安装 FTP 服务

2.1 在所有集群主机上安装 FTP

（在所有集群服务器上执行以下步骤）

# yum -y install vsftpd

2.2 确保 vsftpd 服务没有启动

（在所有集群服务器上执行以下步骤）

# systemctl stop vsftpd
# systemctl disable vsftpd

步骤三：部署 Pacemaker 的 FTP 高可用服务

3.1 在 ftp 资源组中创建名为 ftpip 的虚拟 ip 资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create ftpip IPaddr2 ip=192.168.0.21 cidr_netmask=24 --group ftp

3.2 在 ftp 资源组中创建名为 ftpfiles 挂载其他服务器的 Iscasi 服务的资源

（只在 1 台集群里的服务器上执行以下步骤）

# pcs resource create ftpfiles Filesystem device=192.168.8.21:/content/ftp directory=/var/ftp fstype=nfs options=ro --group ftp

（注意：这里的 Filesystem 指的是其他服务器搭建的 Iscasi 服务，这个服务需要提前搭建好）

3.3 在 ftp 资源组中创建名为 vsftpd 的 ftp 资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create vsftpd systemd:vsftpd --group ftp

注意：

在实现 Apache + Pacemaker 网站服务高可用之前要先安装 Pacemaker 集群

正文：

步骤一：Pacemaker 高可用网站服务的解析

1.1 集群本身需要的服务

需要额外一台服务器提供 NFS 远程目录服务

1.2 本 Pacemaker 高可用网站服务的特点

1) 使用其他服务器提供的 NFS 服务器作为网站的网页目录
2) 提供网站 服务
3) 提供虚拟 IP 地址服务
4) 以上三项服务器都实现高可用
5) 唯一的单点故障在于额外的那台服务器提供的 NFS 远程目录服务器

步骤二：前期准备

2.1 在所有集群服务器上安装 httpd

（在所有集群服务器上执行以下步骤）

# yum -y install httpd

2.2 确保 httpd 不会被 SELinux 限制

（在所有集群服务器上执行以下步骤）

# setsebool -P httpd_use_nfs 1

（补充：这里是要求 SELinux 的布尔值让 httpd 也可以使用 NFS 服务）

2.3 确保 httpd 没有启动

（在所有集群服务器上执行以下步骤）

# systemctl stop httpd
# systemctl disable httpd

步骤三：部署 Pacemaker 的网站高可用服务

3.1 在 网站资源组中创建名为 webip 的虚拟 IP 地址资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create webip IPaddr2 ip=192.168.0.20 cidr_netmask=24 --group=web

3.2 在 网站资源组中创建名为 webnfs 挂载其他服务器的 NFS 服务的资源

（只在一台集群里的服务器上执行以下步骤）

# pcs resource create webnfs Filesystem device=192.168.8.21:/content directory=/var/www/html fstype=nfs options=ro --group web

（注意：这里的 Filesystem 指的是其他服务器搭建的 NFS 服务，这个服务需要提前搭建好，可以参考 https://eternalcenter-sep-2022.github.io/nfs/ 里的内容）

3.3 在网站资源组中创建名为 webserver 的网站资源

（只在 1 台集群里的服务器上执行以下步骤）

# pcs resource create webserver apache configfile="/etc/httpd/conf/httpd.conf" statusurl="http://127.0.0.1/server-status" --group web

步骤一：规划拓扑

1.1 服务器列表

pacemaker0 192.168.11.30
pacemaker1 192.168.11.31
pacemaker2 192.168.11.32

1.2 服务器列表简介

1) pacemaker0、pacemaker1、pacemaker2 都启用 pcs 服务，通过 pcs 实现 pacemaker
2) 3 台服务器都可通过 pcs 服务提供 web、nfs 等服务，但是 web、nfs 等服务在同一时间里只在一台服务器上生效
3) 如果正在提供 web、nfs 服务的服务器 down 掉了，则正在它上面运行的 web nfs 等服务将无缝自动迁移到另外两台服务器

步骤二：服务器系统要求

1) 所有服务器的系统都需要是 CentOS 7 版本
2) 所有服务器都要关闭防火墙
3) 所有服务器都要关闭 SELinux
4) 所有服务器系统都要配置好可用的软件源
5) 需要按照拓扑图给对应的服务器配置好 IP 地址和主机

步骤三：安装并启用 pcs

3.1 在所有服务器上安装 pcs 和 fence-agents-all 服务

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# yum install pcs fence-agents-all

3.2 在所有服务器防火墙上开放 pcs

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# firewall-cmd --permanent --add-service=high-availability
# firewall-cmd --reload

3.3 在所有服务器上启动 pcs ，并设置开机自起

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# systemctl enable pcsd
# systemctl start pcsd

步骤四：让服务器中的各主机通过 pcs 验证

4.1 在所有服务器将 hacluster 用户的密码修改为 redhat

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# echo redhat | passwd --stdin hacluster

4.2 在所有服务器上添加主机名到 IP 地址的解析

（分别在 pacemaker0 pacemaker1 pacemaker2 上执行以下步骤）

# echo "192.168.11.30 pacemaker0" >> /etc/hosts
# echo "192.168.11.31 pacemaker1" >> /etc/hosts
# echo "192.168.11.32 pacemaker2" >> /etc/hosts

4.3 让集群里的所有服务器通过 pcs 验证

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster auth pacemaker0 pacemaker1 pacemaker2
Username: hacluster
Password: 
pacemaker2: Authorized
pacemaker1: Authorized
pacemaker0: Authorized

（补充：这一步也可以使用 -u 和 -p 参数实现非交互式配置）

步骤五：通过 pcs 服务生成 1 个名为 mycluster 的 pcs 集群

5.1 生成一个名为 mycluster 包含 pacemaker0 pacemaker1 pacemaker2 的集群组

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster setup --start --name mycluster pacemaker0 pacemaker1 pacemaker2
Destroying cluster on nodes: pacemaker0, pacemaker1, pacemaker2...
pacemaker2: Stopping Cluster (pacemaker)...
pacemaker0: Stopping Cluster (pacemaker)...
pacemaker1: Stopping Cluster (pacemaker)...
pacemaker0: Successfully destroyed cluster
pacemaker1: Successfully destroyed cluster
pacemaker2: Successfully destroyed cluster

Sending 'pacemaker_remote authkey' to 'pacemaker0', 'pacemaker1', 'pacemaker2'
pacemaker1: successful distribution of the file 'pacemaker_remote authkey'
pacemaker0: successful distribution of the file 'pacemaker_remote authkey'
pacemaker2: successful distribution of the file 'pacemaker_remote authkey'
Sending cluster config files to the nodes...
pacemaker0: Succeeded
pacemaker1: Succeeded
pacemaker2: Succeeded

Starting cluster on nodes: pacemaker0, pacemaker1, pacemaker2...
pacemaker0: Starting Cluster (corosync)...
pacemaker1: Starting Cluster (corosync)...
pacemaker2: Starting Cluster (corosync)...
pacemaker1: Starting Cluster (pacemaker)...
pacemaker0: Starting Cluster (pacemaker)...
pacemaker2: Starting Cluster (pacemaker)...

Synchronizing pcsd certificates on nodes pacemaker0, pacemaker1, pacemaker2...
pacemaker2: Success
pacemaker1: Success
pacemaker0: Success
Restarting pcsd on the nodes in order to reload the certificates...
pacemaker2: Success
pacemaker1: Success
pacemaker0: Success

（
补充：这里可以通过以下方式强制重新生成集群

[root@pacemaker0 ~]# pcs cluster setup --start --name mycluster --force pacemaker0 pacemaker1 pacemaker2

）

5.2 让所有 pcs 集群都随 pcs 服务自动启动

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster enable --all

5.3 显示 pcs 集群状态

（只在 pacemaker0 上执行以下步骤）

[root@pacemaker0 ~]# pcs cluster status
Cluster Status:
 Stack: corosync
 Current DC: pacemaker0 (version 1.1.19-8.el7-c3c624ea3d) - partition with quorum
 Last updated: Sun Aug  4 09:21:55 2019
 Last change: Sun Aug  4 09:20:38 2019 by hacluster via crmd on pacemaker0
 3 nodes configured
 0 resources configured

PCSD Status:
  pacemaker1: Online
  pacemaker2: Online
  pacemaker0: Online

（注意：如果在 PCSD Status 中出现了 down ，则要确保他们的主机没有在 /etc/hosts 中 127.0.0.1 那一行中出现）