docker安装 kafka集群_docker安装kafka集群

一、kafka简介

kafka是分布式的、基于发布/订阅模式的消息队列。
a系统获取b系统的数据，不是直接获取，而是通过消息队列获取。
作用：解耦，削峰填谷
如果公司用spark作为数据分析框架，那么90%的概率使用kafka

二、docker 安装kafka集群

（一）安装docker-compose

下载最新版的docker-compose文件 
curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

添加可执行权限
chmod +x /usr/local/bin/docker-compose

测试安装结果
docker-compose --version
>>  docker-compose version 1.25.1, build a82fef07
1
2
3
4
5
6
7
8
9

（二）拉取镜像

docker pull zookeeper:3.4
docker pull wurstmeister/kafka:2.13-2.7.0
docker pull sheepkiller/kafka-manager:latest
1
2
3

创建集群网络
docker network create --driver  bridge --subnet 192.168.0.0/24  --gateway 192.168.0.1  kafka

查看
docker network ls
1
2
3
4
5

网络设置：

echo "net.ipv4.ip_forward=1" >>/usr/lib/sysctl.d/00-system.conf
1

systemctl restart network && systemctl restart docker
1

将三个yml文件保存到centos系统中的 /opt/file/kafka 目录里

docker-compose -f /opt/file/kafka/docker-compose-zookeeper.yml up -d

docker-compose -f /opt/file/kafka/docker-compose-kafka.yml  up -d

docker-compose -f /opt/file/kafka/docker-compose-manager.yml  up -d
1
2
3
4
5

浏览器访问宿主机：http://192.168.1.167:9000/