7.kafka+ELK连接_elk+kafka

kafka+ELK连接

部署Kafka

###关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

setenforce 0

vim /etc/selinux/config

SELINUX=disabled
1
2
3
4
5
6
7
8
9
10

###下载安装包

官方下载地址：http://kafka.apache.org/downloads.html

cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.1/kafka_2.13-2.7.1.tgz
1
2
3
4
5
6

###安装 Kafka

cd /opt/
tar xf kafka_2.13-2.7.1.tgz
mv kafka_2.13-2.7.1 /usr/local/kafka
1
2
3
4
5

###修改配置文件

##备份配置文件
cd /usr/local/kafka/config/
cp server.properties{,.bak}

vim server.properties

---21行--
broker.id=0    
###21行，broker的全局唯一编号，每个broker不能重复，因此要在其他机器上配置 broker.id=1、broker.id=2

---31行---
listeners=PLAINTEXT://192.168.242.70:9092    
###31行，指定监听的IP和端口，如果修改每个broker的IP需区分开来，也可保持默认配置不用修改

---42行---
num.network.threads=3    
###42行，broker 处理网络请求的线程数量，一般情况下不需要去修改

---45行---
num.io.threads=8            
#45行，用来处理磁盘IO的线程数量，数值应该大于硬盘数

---48行---
socket.send.buffer.bytes=102400       
#48行，发送套接字的缓冲区大小

---51行---
socket.receive.buffer.bytes=102400    
#51行，接收套接字的缓冲区大小

---54行---
socket.request.max.bytes=104857600    
#54行，请求套接字的缓冲区大小

---60行---
log.dirs=/usr/local/kafka/logs        
#60行，kafka运行日志存放的路径，也是数据存放的路径

---65行---
num.partitions=1    
#65行，topic在当前broker上的默认分区个数，会被topic创建时的指定参数覆盖

---69行---
num.recovery.threads.per.data.dir=1    
#69行，用来恢复和清理data下数据的线程数量

---103行---
log.retention.hours=168    
#103行，segment文件（数据文件）保留的最长时间，单位为小时，默认为7天，超时将被删除

---110行---
log.segment.bytes=1073741824    
#110行，一个segment文件最大的大小，默认为 1G，超出将新建一个新的segment文件

---123行---
zookeeper.connect=192.168.242.70:2181,192.168.242.71:2181,192.168.242.72:2181    
###123行，配置连接Zookeeper集群地址
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

###修改环境变量

vim /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

###加载配置
source /etc/profile


###复制文件到zookeeper服务器哦

scp -r /usr/local/kafka 192.168.242.71:/usr/local
scp -r /usr/local/kafka 192.168.242.72:/usr/local
1
2
3
4
5
6
7
8
9
10
11
12
13
14

###部署kafka启动脚本

vim /etc/init.d/kafka


#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/usr/local/kafka'
case 
1
2
3
4
5
6
7
8
9