一、什么是集群Cluster集群Cluster是为了解决某个特定问题将多台计算机组合起来形成一个整体系统。通过多台服务器协同工作提高系统的性能、可靠性和可用性。系统性能扩展方式主要有两种1. Scale UP向上扩展:通过提升单台服务器硬件性能实现扩展例如增加CPU数量,增大内存,使用更快硬盘.特点成本较高,存在硬件性能上限2. Scale Out向外扩展通过增加服务器数量实现扩展将任务分配到多台设备上需要通过集群技术解决调度问题。二、集群分类常见集群主要分为三类1. LBLoad Balancing负载均衡集群作用将大量用户请求分散到多个服务器上每台服务器承担部分访问压力。特点提高系统处理能力避免单台服务器压力过大LVS属于负载均衡集群2. HAHigh Availability高可用集群作用解决单点故障SPOFSingle Point Of Failure。目标提高服务持续运行能力。3. HPCHigh Performance Computing高性能计算集群主要用于科学计算大规模数据计算国家战略资源三、LVS的作用1. LVS简介LVSLinux Virtual ServerLinux虚拟服务器是Linux内核实现的一种高性能、高可用负载均衡技术。由章文嵩博士开发目前已经成为Linux内核标准模块之一。LVS 官网: http://www.linuxvirtualserver.org/VSVirtual Server调度器RSReal Server 真实业务主机CIPClient IP 客户端主机的ipVIP: Virtual serve IP VS外网的IP 对外开放的让客户访问的ipDIP: Director IP VS内网的IP 调度器负责访问内网的ipRIP: Real server IP 真实业务主机IP访问流程CIP – VIP DIP – RIP2. LVS作用核心作用将客户端请求流量根据调度算法分发到多个真实服务器Real Server。优点提高并发处理能力,提高服务可靠性,实现负载均衡.3. lvs集群体系结构工作原理VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS根据调度算法来挑选RS四、lvs集群的类型与原理lvs-nat 修改请求报文的目标IP,多目标IP的DNATlvs-dr 操纵封装新的MAC地址lvs-tun 在原请求IP报文之外新加一个IP首部lvs-fullnat 修改请求报文的源和目标IP4.1.NAT模式Ivs-nat: 本质是多目标IP的DNAT通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发RIP和DIP应在同一个IP网络且应使用私网地址;RS的网关要指向DIP请求报文和响应报文都必须经由Director转发Director易于成为系统瓶颈支持端口映射可修改请求报文的目标PORTVS必须是Linux系统RS可以是任意OS系统nat实验环境设定注vmset.sh是一个网络脚本修改IP需自行操作实验环境配置4.1.1.在vsnode中[rootvsnode ~]# vmset.sh eth0 172.25.254.100 vsnode[rootvsnode ~]# vmset.sh eth1 192.168.0.100 vsnode noroute4.1.2.在RS1中[rootRS1 ~]# vmset.sh eth0 192.168.0.10 RS1 noroute[rootRS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100[rootRS1 ~]# nmcli connection reload[rootRS1 ~]# nmcli connection up eth0[rootRS1 ~]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0192.168.0.1000.0.0.0 UG10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0#设定访问业务真实数据[rootRS1 ~]# dnf install httpd -y[rootRS1 ~]# systemctl enable --now httpd[rootRS1 ~]# echo RS1 - 192.168.0.10 /var/www/html/index.html4.1.3.在RS2中#设定网络[rootRS1 ~]# vmset.sh eth0 192.168.0.20 RS1 noroute[rootRS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100[rootRS1 ~]# nmcli connection reload[rootRS1 ~]# nmcli connection up eth0[rootRS1 ~]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0192.168.0.1000.0.0.0 UG10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0#设定访问业务真实数据[rootRS1 ~]# dnf install httpd -y[rootRS1 ~]# systemctl enable --now httpd[rootRS1 ~]# echo RS2 - 192.168.0.20 /var/www/html/index.html4.1.4.在主机中测试环境中[rootvsnode ~]# curl 192.168.0.10RS1 -192.168.0.10[rootvsnode ~]# curl 192.168.0.20RS2 -192.168.0.204.1.5.NAT模式实现方法4.1.6LVS命令详解-a#添加realserver-e#更改realserver-t#tcp协议-u#udp协议-f#火墙 标签-r#realserver地址-g#直连路由模式-i#ipip隧道模式-m#nat模式-w#设定权重-Z#清空计数器-C#清空lvs策略-L#查看lvs策略-n#不做解析--rate输出速率信息-A#添加-E#修改-t#tcp服务-u#udp服务-s#指定调度算法默认为WLC-p#设置持久连接超时持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f#firewall mask 火墙标记是一个数字4.1.7在vsnode中#下载ipvsadm[rootvsnode ~]# dnf install ipvsadm.x86_64 -y#开启内核路由功能[rootvsnode ~]# echo net.ipv4.ip_forward1 /etc/sysctl.conf[rootvsnode ~]# sysctl -pnet.ipv4.ip_forward1#编写策略[rootvsnode ~]# ipvsadm -C[rootvsnode ~]# ipvsadm -A -t 172.25.254.100:80 -s wrr[rootvsnode ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 1[rootvsnode ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m -w 1[rootvsnode ~]# ipvsadm -LnIP Virtual Server version1.2.1(size4096)Prot LocalAddress:Port Scheduler Flags -RemoteAddress:Port Forward Weight ActiveConn InActConn TCP172.25.254.100:80 wrr -192.168.0.10:80 Masq100-192.168.0.20:80 Masq100#测试[rootvsnode ~]# for i in {1..10}docurl172.25.254.100doneRS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10#更改权重[rootvsnode ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.10:80 -m -w 2[rootvsnode ~]# ipvsadm -LnIP Virtual Server version1.2.1(size4096)Prot LocalAddress:Port Scheduler Flags -RemoteAddress:Port Forward Weight ActiveConn InActConn TCP172.25.254.100:80 wrr -192.168.0.10:80 Masq200-192.168.0.20:80 Masq100#测试[rootvsnode ~]# for i in {1..10}; do curl 172.25.254.100; doneRS2 -192.168.0.20 RS1 -192.168.0.10 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS1 -192.168.0.10 RS2 -192.168.0.204.2.DR模式DRDirect Routing直接路由LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发源MAC是DIP所在的接口的MAC目标MAC是某挑选出的RS的RIP所在接口的MAC地址源IP/PORT以及目标IP/PORT均保持不变4.2.1实验环境设定4.2.2.在router中[rootrouter ~]# systemctl disable --now ipvsadm.serviceRemoved/etc/systemd/system/multi-user.target.wants/ipvsadm.service.[rootrouter ~]# ipvsadm -C#在路由器中[rootrouter ~]# vmset.sh eth0 172.25.254.100 router[rootrouter ~]# vmset.sh eth1 192.168.0.100 router noroute#设定内核路由功能[rootrouter ~]# echo net.ipv4.ip_forward1 /etc/sysctl.conf[rootrouter ~]# sysctl -pnet.ipv4.ip_forward1#数据转发策略[rootrouter ~]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100[rootvsnode ~]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.1004.2.3.在vsnode中#vsnode 调度器[rootvsnode ~]# vmset.sh eth0 192.168.0.50 vsnode norouter[rootvsnode ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection[connection]ideth0typeethernet interface-nameeth0[ipv4]methodmanualaddress1192.168.0.50/24,192.168.0.100[rootvsnode ~]# cd /etc/NetworkManager/system-connections/[rootvsnode system-connections]# cp -p eth0.nmconnection lo.nmconnection[rootvsnode system-connections]# vim lo.nmconnection[connection]idlotypeloopback interface-namelo[ipv4]methodmanualaddress1127.0.0.1/8address2192.168.0.200/32[rootvsnode system-connections]# nmcli connection reload[rootvsnode system-connections]# nmcli connection up eth0连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/7[rootvsnode system-connections]# nmcli connection up lo连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/8#检测rootvsnode system-connections]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0192.168.0.1000.0.0.0 UG10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0[rootvsnode system-connections]# ip a1: lo:LOOPBACK,UP,LOWER_UPmtu65536qdisc noqueue state UNKNOWN group default qlen1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet127.0.0.1/8 scopehostlo valid_lft forever preferred_lft forever inet192.168.0.200/32 brd192.168.0.255 scope global noprefixroute eth0 valid_lft forever preferred_lft forever inet6 ::1/128 scopehostvalid_lft forever preferred_lft forever2: eth0:BROADCAST,MULTICAST,UP,LOWER_UPmtu1500qdisc mq state UP group default qlen1000link/ether 00:0c:29:41:e5:8b brd ff:ff:ff:ff:ff:ff altname enp3s0 altname ens160 inet192.168.0.50/24 brd192.168.0.255 scope global secondary noprefixroute eth0 valid_lft forever preferred_lft forever inet6 fe80::e40:8975:6b9:fea8/64 scopelinknoprefixroute valid_lft forever preferred_lft forever[rootvsnode ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g[rootvsnode ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g[rootvsnode ~]# ipvsadm -LnIP Virtual Server version1.2.1(size4096)Prot LocalAddress:Port Scheduler Flags -RemoteAddress:Port Forward Weight ActiveConn InActConn TCP192.168.0.200:80 rr -192.168.0.10:80 Route100-192.168.0.20:80 Route100[rootvsnode ~]# ipvsadm-save /etc/sysconfig/ipvsadm4.2.4.在client中#客户端[rootclient ~]# vmset.sh eth0 172.25.254.99 client norouter连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/42: eth0:BROADCAST,MULTICAST,UP,LOWER_UPmtu1500qdisc mq state UP group default qlen1000link/ether 00:0c:29:e5:75:af brd ff:ff:ff:ff:ff:ff altname enp3s0 altname ens160 inet172.25.254.99/24 brd172.25.254.255 scope global noprefixroute eth0 valid_lft forever preferred_lft forever inet6 fe80::20c:29ff:fee5:75af/64 scopelinktentative noprefixroute valid_lft forever preferred_lft forever client[rootclient ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection[connection]ideth0typeethernet interface-nameeth0[ipv4]methodmanualaddress1172.25.254.99/24,172.25.254.100dns8.8.8.8;[rootclient ~]# nmcli connection reload[rootclient ~]# nmcli connection up eth0连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/5[rootclient ~]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0172.25.254.1000.0.0.0 UG10000eth0172.25.254.00.0.0.0255.255.255.0 U10000eth0#检测[rootclient ~]# ping 192.168.0.200PING192.168.0.200(192.168.0.200)56(84)比特的数据。64比特来自192.168.0.200:icmp_seq1ttl128时间1.08毫秒4.2.5.在RS1中#RS1[rootRS1 ~]# vmset.sh eth0 192.168.0.10 RS1 noroute[rootRS1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100[rootRS1 ~]# nmcli connection reload[rootRS1 ~]# nmcli connection up eth0[rootRS1 ~]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0192.168.0.1000.0.0.0 UG10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0#在lo上设定vip[rootRS1 ~]# cd /etc/NetworkManager/system-connections/[rootRS1 system-connections]# cp -p eth0.nmconnection lo.nmconnection[rootRS1 system-connections]# vim lo.nmconnection[connection]idlotypeloopback interface-namelo[ethernet][ipv4]address1127.0.0.1/8address2192.168.0.200/32methodmanual[rootRS1 system-connections]# nmcli connection reload[rootRS1 system-connections]# nmcli connection up lo连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/6[rootRS1 system-connections]# ip a1: lo:LOOPBACK,UP,LOWER_UPmtu65536qdisc noqueue state UNKNOWN group default qlen1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet127.0.0.1/8 scopehostlo valid_lft forever preferred_lft forever inet192.168.0.200/32 scope global lo valid_lft forever preferred_lft forever inet6 ::1/128 scopehostvalid_lft forever preferred_lft forever#arp禁止响应[rootrs1 ~]# echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore[rootrs1 ~]# echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignore[rootrs1 ~]# echo 2 /proc/sys/net/ipv4/conf/lo/arp_announce[rootrs1 ~]# echo 2 /proc/sys/net/ipv4/conf/all/arp_announce4.2.6.在RS2中#RS2[rootRS2 ~]# vmset.sh eth0 192.168.0.20 RS2 noroute[rootRS2 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100[rootRS2 ~]# nmcli connection reload[rootRS2 ~]# nmcli connection up eth0[rootRS2 ~]# route -nKernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface0.0.0.0192.168.0.1000.0.0.0 UG10000eth0192.168.0.00.0.0.0255.255.255.0 U10000eth0#在lo上设定vip[rootRS2 ~]# cd /etc/NetworkManager/system-connections/[rootRS2 system-connections]# cp -p eth0.nmconnection lo.nmconnection[rootRS2 system-connections]# vim lo.nmconnection[connection]idlotypeloopback interface-namelo[ethernet][ipv4]address1127.0.0.1/8address2192.168.0.200/32methodmanual[rootRS2 system-connections]# nmcli connection reload[rootRS2 system-connections]# nmcli connection up lo连接已成功激活D-Bus 活动路径/org/freedesktop/NetworkManager/ActiveConnection/6[rootRS2 system-connections]# ip a1: lo:LOOPBACK,UP,LOWER_UPmtu65536qdisc noqueue state UNKNOWN group default qlen1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet127.0.0.1/8 scopehostlo valid_lft forever preferred_lft forever inet192.168.0.200/32 scope global lo valid_lft forever preferred_lft forever inet6 ::1/128 scopehostvalid_lft forever preferred_lft forever#arp禁止响应[rootrs2 ~]# echo 1 /proc/sys/net/ipv4/conf/all/arp_ignore[rootrs2 ~]# echo 1 /proc/sys/net/ipv4/conf/lo/arp_ignore[rootrs2 ~]# echo 2 /proc/sys/net/ipv4/conf/lo/arp_announce[rootrs2 ~]# echo 2 /proc/sys/net/ipv4/conf/all/arp_announce#测试[rootclient ~]# for i in {1..10}; do curl 192.168.0.200; doneRS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.10 RS2 -192.168.0.20 RS1 -192.168.0.104.3.TUN模式转发方式不修改请求报文的IP首部源IP为CIP目标IP为VIP而在原IP报文之外再封装一个IP首部源IP是DIP目标IP是RIP将报文发往挑选出的目标RSRS直接响应给客户端源IP是VIP目标IP是CIP1.客户端发送请求数据包包内有源IPvipdport2.到达vs调度器后对客户端发送过来的数据包重新封装添加IP报文头新添加的IP报文头中包含TUNSRCIP(DIP)TUNDESTIP(RSIP1)并发送到RS13.RS收到VS调度器发送过来的数据包做出响应生成的响应报文中包含SRCIP(VIP)DSTIPCIPport响应数据包通过网络直接回传给client4.4.fullnet模式fullnat通过同时修改请求报文的源IP地址和目标IP地址进行转发CIP -- DIPVIP -- RIP1.VIP是公网地址RIP和DIP是私网地址且通常不在同一IP网络因此RIP的网关一般不会指向DIP2.RS收到的请求报文源地址是DIP因此只需响应给DIP但Director还要将其发往Client3.请求和响应报文都经由Director4.支持端口映射五、LVS 13种调度算法一、静态调度算法RRRound Robin轮询RR轮询算法是最简单的调度方式按照服务器列表顺序依次分配客户端请求。例如RS1、RS2两台服务器请求会按照RS1、RS2、RS1、RS2的顺序进行分配。该算法不考虑服务器性能差异适用于后端服务器配置相同的环境。WRRWeighted Round Robin加权轮询WRR是在轮询算法基础上的改进通过为不同服务器设置权重根据服务器性能分配请求。性能较好的服务器设置较高权重可以承担更多请求性能较差的服务器权重较低从而避免性能差的服务器压力过大。SHSource Hashing源地址哈希SH算法根据客户端源IP地址进行Hash计算将来自同一个客户端的请求固定发送到第一次选择的真实服务器实现会话保持Session Sticky。该算法适用于需要保持用户访问状态的场景但是可能因为客户端IP分布不均导致服务器负载不均衡。DHDestination Hashing目标地址哈希DH算法根据目标地址进行Hash计算将访问相同目标地址的请求固定发送到同一台服务器。该算法主要应用于正向代理缓存场景可以提高缓存命中率。二、动态调度算法LCLeast Connection最少连接LC算法根据真实服务器当前连接数量进行调度将新的请求发送给当前连接数最少的服务器。该算法适合长连接业务因为连接数量能够反映服务器当前压力。WLCWeighted Least Connection加权最少连接WLC算法结合服务器连接数量和服务器权重进行调度是LVS默认使用的调度算法。它会计算服务器当前负载情况将请求发送给负载较低的服务器相比LC算法更适合服务器配置不同的环境。SEDShortest Expected Delay最短期望延迟SED算法根据服务器当前连接数量和权重计算预计响应时间将新的请求发送给预计处理时间最短的服务器使服务器资源利用更加合理。NQNever Queue永不排队NQ算法第一次调度时会将请求平均分配到服务器之后使用SED算法进行调度避免初始阶段请求集中到某一台服务器。LBLCLocality-Based Least Connection基于局部性的最少连接LBLC是一种动态DH算法它根据目标地址访问情况和服务器当前负载状态进行调度主要应用于正向代理缓存服务器。LBLCRLocality-Based Least Connection with Replication带复制功能的LBLCLBLCR是在LBLC基础上的改进增加了复制功能。当某台服务器负载较高时可以将访问内容复制到负载较低的服务器从而解决LBLC可能产生的负载不均衡问题。三、Linux新增调度算法11. FOWeighted Fair Overflow加权公平溢出FO算法是在Linux 4.15版本以后新增的调度算法主要用于灰度发布场景。它会选择没有过载标记并且权重最高的真实服务器进行调度当服务器达到过载状态后停止向该服务器分配新的连接。OVFOverflow Connection溢出连接OVF算法根据真实服务器活动连接数量和权重进行调度优先选择权重较高且连接数没有超过限制的服务器当服务器达到限制后再选择其他服务器处理请求。六、LVS多端口轮询问题解决方案6.1.在RS主机中同时开始http和https两种协议#在RS1和RS2中开启https[rootRS1RS2 ~]# dnf install mod_ssl -y[rootRS1RS2 ~]# systemctl restart httpd[rootRS1RS2 ~]# systemctl restart httpd6.2.在vsnode中添加https的轮询策略rootvsnode]# ipvsadm -A -t 192.168.0.200:80 -s rr[rootvsnode]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20 -g[rootvsnode]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10 -g[rootvsnode]# ipvsadm -A -t 192.168.0.200:443 -s rr[rootvsnode]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g[rootvsnode]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g[rootvsnode]# ipvsadm -LnIP Virtual Server version1.2.1(size4096)Prot LocalAddress:Port Scheduler Flags -RemoteAddress:Port Forward Weight ActiveConn InActConn TCP192.168.0.200:80 rr -192.168.0.10:80 Route100-192.168.0.20:80 Route100TCP192.168.0.200:443 rr -192.168.0.10:443 Route100-192.168.0.20:443 Route1006.3.轮询错误展示[rootclient ~]# curl 192.168.0.200;curl -k https://192.168.0.200RS2 -192.168.0.20 RS2 -192.168.0.206.4.解决方案#使用火墙标记访问vip的80和443的所有数据包设定标记为6666然后对此标记进行负载[rootvsnode]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 6666[rootvsnode]# ipvsadm -A -f 6666 -s rr[rootvsnode]# ipvsadm -a -f 6666 -r 192.168.0.10 -g[rootvsnode]# ipvsadm -a -f 6666 -r 192.168.0.20 -g#测试在客户端[rootclient ~]# curl 192.168.0.200;curl -k https://192.168.0.200RS2 -192.168.0.20 RS1 -192.168.0.10七、利用持久连接实现会话粘滞7.1.设定ipvs调度策略[rootvsnode ~]# ipvsadm -A -f 6666 -s rr -p 1[rootvsnode ~]# ipvsadm -LnIP Virtual Server version1.2.1(size4096)Prot LocalAddress:Port Scheduler Flags -RemoteAddress:Port Forward Weight ActiveConn InActConn FWM6666rr persistent1-192.168.0.10:0 Route100-192.168.0.20:0 Route100#测试[rootclient ~]# curl 192.168.0.200RS1 -192.168.0.10[rootclient ~]# curl 192.168.0.200RS2 -192.168.0.207.2.观察[rootvsnode ~]# watch -n 1 ipvsadm -Lnc