Haproxy 负载均衡集群_haproxy集群

一、Haproxy

1. HAProxy介绍

HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件，是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器，支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计，目前最新TLS版本为2.2。

HAProxy是可提供高可用性、负载均衡以及基于TcP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HProxy非常适用于并发大(并发达1w以上) web站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护web服务器不被暴露到网络上。

支持功能

• TCP 和 HTTP反向代理

• SSL/TSL服务器

• 可以针对HTTP请求添加cookie，进行路由后端服务器

• 可平衡负载至后端服务器，并支持持久连接

• 支持所有主服务器故障切换至备用服务器 keepalive

• 支持专用端口实现监控服务

• 支持停止接受新连接请求，而不影响现有连接

• 可以在双向添加，修改或删除HTTP报文首部字段

• 响应报文压缩

• 支持基于pattern实现连接请求的访问控制

• 通过特定的URI（url）为授权用户提供详细的状态信息

2. HAProxy的主要特性有

1. 可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美;

2. 最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s;

3. 支持多达8种负载均衡算法,同时也支持会话保持;

4. 支持虚拟机主机功能，从而实现web负载均衡更加灵活;

5. 支持连接拒绝、全透明代理等独特的功能;

6. 拥有强大的ACL支持,用于访问控制; sendfile

7. 其独特的弹性二x树数据结构，使数据结构的复杂性上升到了0(1)，即数据的查寻速度不会随着数据条日的增加而速度有所下降;·支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成;

8. 支持TCP加速,零复制功能,类似于mmap机制;

9. 支持响应池(response buffering) ;

10. 支持RDP协议;

11. 基于源的粘性，类似nginx的ip hash功能，把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;·更好统计数据接口，其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;

12. 详细的健康状态检测，web接口中有关于对上游服务器的健康检测状态，并提供了一定的管理功能;

13. 基于流量的健康评估机制;

14. 基于http认证;

15. 基于命令行的管理接口;

16. 日志分析器,可对日志进行分析

3. HAProxy负载均衡策略

官方文档：HAProxy version 2.4.15 - Configuration Manual

静态调度算法：不管后端，按照调度器的算法进行 分配

动态调度算法：会考虑后端服务器的负载情况

（1）roundrobin，表示简单的轮询 rr

（2）static-rr，表示根据权重

（3）leastconn，表示最少连接者先处理

（4）source，表示根据请求源IP

（5）uri，表示根据请求的URI,做cdn需使用;

（6）url param，表示根据请求的URl参数' balance url param’requires an URL parameter name

（7）hdr(name)，表示根据HTTP请求头来锁定每一次HTTP请求;

（8）rdp-cookie (name)，表示根据据cookie(name)来锁定并哈希每一次TCP请求。

4. LVS、Nginx、HAproxy的区别:

1. IVS基于Linux操作系统实现软负载均衡，而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
2. LVS是可实现4层的IP负载均衡技术，无法实现基于目录、URL的转发。而HAProxy和Nginx都可以实现4层和7层技术，HAProxy可提供TCP和HTTP应用的负载均衡综合解决方案;
3. LVs因为工作在TCP模型的第四层，其状态监测功能单一，而HAProxy在状态监测方面功能更丰富、强大，可支持端口、URI等多种状态检测方式;
4. HAProxy功能强大,但整体性能低于4层模式的IVS负载均衡。
5. Ngrinx主要用于web服务器或缓存服务器。Nginx的upstream模块虽然也支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。

二、安装 Haproxy

1. yum 安装

CentOS 7 的默认的 base 仓库中包含 haproxy 的安装包文件，但是版本比较旧，是 1.5.18 的版本，距离当前版本已经有较长时间没有更新，由于版本比较旧所以有很多功能不支持，如果对功能和性能没有要求可以使用此版本，否则推荐使用新版本。

[root@centos7 ~]# yum install haproxy -y
#验证haproxy版本
[root@centos7 ~]# haproxy -v
HA-Proxy version 1.5.18 2016/05/10
Copyright 2000-2016 Willy Tarreau <willy@haproxy.org>

2. 第三方 rpm -ivh 安装包

官方没有提供rpm相关的包,可以通过第三方仓库的rpm包

从第三方网站下载rpm包：https://pkgs.org/download/haproxy

基于互联网第三方仓库在线安装

yum install centos-release-scl-rh 
yum install rh-haproxy18-haproxy

3. 编译安装

3.1 解决lua环境

HAProxy 支持基于lua实现功能扩展，lua是一种小巧的脚本语言，于1993年由巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组开发，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

Lua 官网：www.lua.org

Lua 应用场景

• 游戏开发

• 独立应用脚本

• Web 应用脚本

• 扩展和数据库插件，如MySQL Proxy

• 安全系统，如入侵检测系统

由于CentOS7 之前版本自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求，因此需要编译安装较新版本的lua环境，然后才能编译安装HAProxy，过程如下：

3.2 编译安装 haproxy

yum -y install gcc openssl-devel pcre-devel systemd-devel
#安装依赖环境
 
tar xf haproxy-2.4.25.tar.gz 
cd haproxy-2.4.25.tar.gz 
 
#查看安装方法
[root@centos7 haproxy-2.1.3]#ll Makefile 
-rw-rw-r-- 1 root root 40812 Feb 12 23:18 Makefile
[root@centos7 haproxy-2.1.3]#cat README 
[root@centos7 haproxy-2.1.3]#cat INSTALL
 
mkdir /usr/local/lua
cp -r src/   /usr/local/lua/
 
#做软连接
ln -s lua-5.4.4 lua
 
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/data/lua/src/  LUA_LIB=/data/lua/src/
 
#指定安装目录
make install PREFIX=/apps/haproxy
 
#做软连接 
ln -s /apps/haproxy/sbin/haproxy /usr/sbin/

安装依赖环境

配置lua环境

 查看安装方法

指定安装目录：

查看版本

交给 systemd 管理

[root@centos7 ~]#vim /usr/lib/systemd/system/haproxy.service
 
tee /usr/lib/systemd/system/haproxy.service  <<eof
 
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
 
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg  -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
 
[Install]
WantedBy=multi-user.target
 
eof

建立文件

mkdir /etc/haproxy
vim /etc/haproxy/haproxy.cfg
 
global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
uid 99
gid 99
daemon
#nbproc 4
#cpu-map 1 0
#cpu-map 2 1
#cpu-map 3 2
#cpu-map 4 3
pidfile /var/lib/haproxy/haproxy.pid
log 127.0.0.1 local3 info
 
defaults
option http-keep-alive
option  forwardfor
maxconn 100000
mode http
timeout connect 300000ms
timeout client  300000ms
timeout server  300000ms
 
listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /haproxy-status
 stats auth    haadmin:123456
 
listen  web_port
 bind 0.0.0.0:8899
 mode http
 log global
 server web1  127.0.0.1:8080  check inter 3000 fall 2 rise 5

mkdir  /var/lib/haproxy
#pid 文件路径
 
#设置用户和目录权限
[root@centos7 ~]# useradd -r -s /sbin/nologin  haproxy
[root@centos7 ~]# systemctl enable --now haproxy

三、配置文件详解

1. 配置文件

chroot    #锁定运行目录
deamon    #以守护进程运行，后台运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   #socket文件
user, group, uid, gid  #运行haproxy的用户身份
nbproc    n     #开启的haproxy work 进程数，默认进程数是一个
#nbthread  1    #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务Apr  714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.
 
cpu-map 1  0     #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2  1     #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1  号CPU
                 #ps axo  pid,cmd,psr  |grep haproxy
maxconn  n      #每个haproxy进程的最大并发连接数
maxsslconn  n   #每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n   #每个进程每秒创建的最大连接数量
spread-checks n #后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile         #指定pid文件路径
log 127.0.0.1  local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个
 
defaults
        log     global    	#引入global定义的日志格式
        mode    http      	#模式为http（7层代理http，4层代理tcp）
        option  httplog	   	#日志类别为http日志格式		 	
        option  dontlognull	#不记录健康检查日志信息
        retries 3           #检查节点服务器失败次数，连续达到3次，则反馈不可用 
        redispatch			#当服务器负载很高时，自动结束当前队列处理比较久的连接
        maxconn 2000		#最大连接数，此处的数值不能大于全局里的数值
        contimeout      5000  #设置连接超时时间，默认单位是毫秒
		clitimeout      50000 #设置客户端超时时间，默认单位是毫秒
		srvtimeout      50000 #设置服务器超时时间，默认单位是毫秒
 
#以下是新版本中的
timeout http-request 10s  	#默认http请求超时时间
timeout queue 1m 			#默认队列超时时间	
timeout connect 10s 		#默认连接超时时间，新版本中替代
timeout client 1m
timeout server 1m
timeout http-keep-alive
timeout check 10s
 
 
defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>   #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>   #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen   <name>   #将frontend和backend合并在一起配置，相对于frontend和backend配置更简
洁，生产常用
 
 
使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用
#官网业务访问入口
listen  webcluster 0.0.0.0:80
        option httpchk GET /test.html
        balance roundrobin
        server  inst1 192.168.91.102:80 check inter 2000 fall 3
        server  inst2 192.168.91.103:80 check inter 2000 fall 3

HAProxy 的配置文件haproxy.cfg由两大部分组成，分别是global和proxies部分

• global：全局配置段

进程及安全配置相关的参数
性能调整相关参数
Debug参数

• proxies：代理配置段

defaults：为frontend, backend, listen提供默认配置
frontend：前端，相当于nginx中的server {}
backend：后端，相当于nginx中的upstream {}
listen：同时拥有前端和后端配置,配置简单,生产推荐使用

2. global配置

官方文档：http://cbonte.github.io/haproxy-dconv/2.4/configuration.html#3

详细讲解：

chroot #锁定运行目录，类似于  ftp中的禁锢
deamon #以守护进程运行
stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin process 1   #socket文件 进程件通信
user, group, uid, gid  #运行haproxy的用户身份
 
 
nbproc   n #开启的haproxy worker 进程数，默认进程数是一个，保持与 淳朴个数相同
#nbthread 1 #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务
 
Apr  7 14:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot 
enable multiple processes if multiple threads are configured. Please use either 
nbproc or nbthread but not both.
 
 
 
cpu-map 1 0   		#绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2 1     	#绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1号CPU
maxconn n   		#每个haproxy进程的最大并发连接数
maxsslconn n   		#每个haproxy进程ssl最大连接数,用于haproxy配置了证书的场景下
maxconnrate n   	#每个进程每秒创建的最大连接数量
spread-checks n 	#后端server状态check随机提前或延迟百分比时间，建议2-5(20%-50%)之间，默认值0
pidfile 			#指定pid文件路径
log 127.0.0.1 local2 info #定义全局的syslog服务器；日志服务器需要开启UDP协议，最多可以定义两个

2.1 状态页

listen stats
 mode http
 bind 0.0.0.0:9999
 stats enable
 log global
 stats uri     /status
 stats auth    haadmin:123456
 
 
http://172.168.1.11:9999/status

2.2 指定进程线程个数

进程与线程会有冲突

nbproc    n     #开启的haproxy work 进程数，默认进程数是一个
#nbthread  1    #和多进程 nbproc配置互斥（版本有关,CentOS8的haproxy1.8无此问题）,指定每个haproxy进程开启的线程数，默认为每个进程一个线程
#如果同时启用nbproc和nbthread 会出现以下日志的错误，无法启动服务Apr  714:46:23 haproxy haproxy: [ALERT] 097/144623 (1454) : config : cannot enable multiple processes if multiple threads are configured. Please use either nbproc or nbthread but not both.

2.3 cpu亲缘性

nbproc  2
cpu-map 1  0     #绑定haproxy worker 进程至指定CPU，将第1个work进程绑定至0号CPU
cpu-map 2  1     #绑定haproxy worker 进程至指定CPU，将第2个work进程绑定至1  号CPU
                
ps axo  pid,cmd,psr  |grep haproxy

2.4 多进程和线程

范例：多进程和socket文件

[root@centos7 ~]#vim /etc/haproxy/haproxy.cfg
global
maxconn 100000
chroot /apps/haproxy
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1       
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2
uid 99
gid 99
daemon
nbproc 2
 
 
[root@centos7 ~]#systemctl restart haproxy
[root@centos7 ~]#pstree -p |grep haproxy
           |-haproxy(2634)-+-haproxy(2637)
           |               `-haproxy(2638)
[root@centos7 ~]#ll /var/lib/haproxy
total 4
-rw-r--r-- 1 root root 5 Mar 31 18:49 haproxy.pid
srw------- 1 root root 0 Mar 31 18:49 haproxy.sock1
srw------- 1 root root 0 Mar 31 18:49 haproxy.sock2

2.5 日志

HAproxy本身不记录客户端的访问日志.此外为减少服务器负载,一般生产中HAProxy不记录日志.也可以配置HAProxy利用rsyslog服务记录日志到指定日志文件中

#在global配置项定义：
log 127.0.0.1 local{1-7} info #基于syslog记录日志到指定设备，级别有(err、warning、info、debug)
listen web_port
 bind 127.0.0.1:80
 mode http
 log global #开启当前web_port的日志功能，默认不记录日志
 server web1  127.0.0.1:8080 check inter 3000 fall 2 rise 5

传给远端服务器:

ha服务器加入以下配置
log 127.0.0.1 local3 info
log 172.168.1.12  local6 info
systemctl restart haproxy.service 
 
 
101服务器  要开udp  端口
vim /etc/rsyslog.conf
14 # Provides UDP syslog reception
15 $ModLoad imudp
16 $UDPServerRun 514
 
72 # Save boot messages also to boot.log
73 local7.*                                                /var/log/boot.log
74 local6.*                                                /var/log/haproxy.log
 
 
systemctl restart rsyslog.service 

3. Proxies配置

官方文档：HAProxy version 2.1.12 - Configuration Manual

defaults [<name>] #默认配置项，针对以下的frontend、backend和listen生效，可以多个name也可以没有name
frontend <name>   #前端servername，类似于Nginx的一个虚拟主机 server和LVS服务集群。
backend <name>   #后端服务器组，等于nginx的upstream和LVS中的RS服务器
listen  <name>   #将frontend和backend合并在一起配置，相对于frontend和backend配置更简洁，生产常用

注意：name字段只能使用大小写字母，数字，‘-’(dash)，'_‘(underscore)，'.' (dot)和 ':'(colon)，并且严格区分大小写

3.1 Proxies配置-defaults

defaults 配置参数：

option redispatch    			#当server Id对应的服务器挂掉后，强制定向到其他健康的服务器，重新派发
option abortonclose   			#当服务器负载很高时，自动结束掉当前队列处理比较久的连接，针对业务情况选择开启
option http-keep-alive 			#开启与客户端的会话保持
option forwardfor     			#透传客户端真实IP至后端web服务器
mode http|tcp 					#设置默认工作类型,使用TCP服务器性能更好，减少压力
timeout http-keep-alive 120s 	#session 会话保持超时时间，此时间段内会转发到相同的后端服务器
timeout connect 120s 			#客户端请求从haproxy到后端server最长连接等待时间(TCP连接之前)，默认单位ms
timeout server 600s 			#客户端请求从haproxy到后端服务端的请求处理超时时长(TCP连接之后)，默认单位ms，如果超时，会出现502错误，此值建议设置较大些，访止502错误
timeout client 600s 			#设置haproxy与客户端的最长非活动时间，默认单位ms，建议和timeout server相同
timeout check   5s   			#对后端服务器的默认检测超时时间
default-server inter 1000 weight 3   #指定后端服务器的默认设置

后端服务器配置

可以服务

关闭一台

 

测试

3.2 Proxies配置-listen 简化配置

使用listen替换 frontend和backend的配置方式，可以简化设置，通常只用于TCP协议的应用

#官网业务访问入口
listen WEB_PORT_80    #业务名称
   bind 10.0.0.7:80   #ip加端口
   mode http          #默认 可以不写
   option forwardfor  #透传客户端真实IP至后端web服务器
   server web1   10.0.0.17:8080   check inter 3000 fall 3 rise 5
   server web2   10.0.0.27:8080   check inter 3000 fall 3 rise 5

3.3 Proxies配置-frontend

frontend 配置参数：

bind： #指定HAProxy的监听地址，可以是IPV4或IPV6，可以同时监听多个IP或端口，可同时用于
listen字段中
 
#格式：
bind [<address>]:<port_range> [, ...] [param*]
#注意：如果需要绑定在非本机的IP，需要开启内核参数：net.ipv4.ip_nonlocal_bind=1
 
 
backlog <backlog> #针对所有server配置,当前端服务器的连接数达到上限后的后援队列长度，注
意：不支持backend

范例：

listen http_proxy #监听http的多个IP的多个端口和sock文件
   bind :80,:443,:8801-8810
   bind 10.0.0.1:10080,10.0.0.1:10443
   bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
 
 
listen http_https_proxy #https监听
   bind :80
   bind :443 ssl crt /etc/haproxy/site.pem #公钥和私钥公共文件
 
 
listen http_https_proxy_explicit #监听ipv6、ipv4和unix sock文件
   bind ipv6@:80
   bind ipv4@public_ssl:443 ssl crt /etc/haproxy/site.pem
   bind unix@ssl-frontend.sock user root mode 600 accept-proxy
 
 
 
listen external_bind_app1 #监听file descriptor
   bind "fd@${FD_APP1}"

例子：

frontend test_web_port #可以采用后面形式命名：业务-服务-端口号
   bind :80,:8080
   bind 10.0.0.7:10080,:8801-8810,10.0.0.17:9001-9010
   mode http|tcp     #指定负载协议类型
   use_backend <backend_name>  #调用的后端服务器组名称

3.4 Proxies配置-backend

定义一组后端服务器，backend服务器将被frontend进行调用。

注意: backend 的名称必须唯一,并且必须在listen或frontend中事先定义才可以使用,否则服务无法启动

mode http|tcp     #指定负载协议类型,和对应的frontend必须一致
option #配置选项
server   #定义后端real server,必须指定IP和端口

server 配置

#针对一个server配置
check #对指定real进行健康状态检查，如果不加此设置，默认不开启检查,只有check后面没
有其它配置也可以启用检查功能
 #默认对相应的后端服务器IP和端口,利用TCP连接进行周期性健康性检查,注意必须指定
端口才能实现健康性检查
 addr <IP>   #可指定的健康状态监测IP，可以是专门的数据网段，减少业务网络的流量
 port <num> #指定的健康状态监测端口
 inter <num> #健康状态检查间隔时间，默认2000 ms
 fall <num>   #后端服务器从线上转为线下的检查的连续失效次数，默认为3
 rise <num>   #后端服务器从下线恢复上线的检查的连续有效次数，默认为2
weight <weight> #默认为1，最大值为256，0(状态为蓝色)表示不参与负载均衡，但仍接受持久连
接
backup #将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务，类似
Sorry Server
disabled #将后端服务器标记为不可用状态，即维护状态，除了持久模式，将不再接受连接,
状态为深黄色,优雅下线,不再接受新用户的请求
redirect prefix http://www.baidu.com/ #将请求临时(302)重定向至其它URL，只适用于
http模式
redir http://www.baidu.com       #将请求临时(302)重定向至其它URL，只适用于
http模式
maxconn <maxconn> #当前后端server的最大并发连接数

例子：前后端 实际操作例子

frontend  test
     bind 172.168.1.11:80
     use_backend  test_web
backend  test_web
server rs1  172.168.1.12:80 check
server rs2  172.168.1.13:80 check