kafka版本升级操作流程_kafka服务端升级

官网升级操作流程介绍：Apache Kafka

kafka可视化管理工具offsetexplore链接：Offset Explorer

相关操作指令

1:查询当前kafka中注册的节点信息

1:查询当前zookeeper中注册的节点信息
cd /data/kafka_2.11-0.11.0.0/bin
./zookeeper-shell.sh 22.144.109.215:2183
ls /brokers/ids
get /brokers/ids/0

2:旧版本相关指令

===========================================旧版===================================
--创建topic
./kafka-topics.sh --create --zookeeper 22.xxx.xxx.xxx:2181 --replication-factor 3  --partitions 2 --topic first
 
--查看topic信息
./kafka-topics.sh --zookeeper 22.xxx.xxx.xxx:2181 --describe first
 
--查看topic列表
./kafka-topics.sh --list --zookeeper 22.xxx.xxx.xxx:2181
 
--生产消息
./kafka-console-producer.sh --broker-list 22.xxx.xxx.xxx:9092  --topic first
 
--消费消息
./kafka-console-consumer.sh --zookeeper 22.xxx.xxx.xxx:2181  --topic first

3:升级后新版本相关指令

==============================================新版========================================
--创建topic:
./kafka-topics.sh --bootstrap-server 22.xxx.xxx.xxx:9092 --create --replication-factor 3 --partitions 2 --topic four
 
--查看topic信息
./kafka-topics.sh --bootstrap-server 22.xxx.xxx.xxx:9092 --describe --topic four
 
--查看集群所有topic
./kafka-topics.sh --bootstrap-server 22.xxx.xxx.xxx:9092 --list
 
--生产信息，与执行命令所在的broker关联，同一个broker总往同一个partition发送,与分配策略有关
./kafka-console-producer.sh --broker-list 22.xxx.xxx.xxx:9092  --topic four
 
--消费信息
./kafka-console-consumer.sh --bootstrap-server 22.xxx.xxx.xxx:9092  --topic four  --consumer-property group.id=1
 
--删除topic
--./kafka-topics.sh --delete --bootstrap-server 22.xxx.xxx.xxx:9092  --topic four

4:升级流程

1:查看kakfa状态
ps -ef|grep kafka
 
2:停止原服务
./kafka-server-stop.sh
./zookeeper-server-stop.sh
ps -ef|grep kafka
 
3:解压新包，cd到新包路径，删除默认配置文件(4个，zookeeper.properties,server.properties,producer.properties,consumer.properties)，
复制4个原有配置文件到新目录，配置项中路径啥的都不要改
 
4:删除zookeeper.properties中配置的目录：/data/kafka/kafka_2.11-0.11.0.0/zookeeper/version-2/log1.*文件，不然zookeeper启动会报错
 
5:启动新服务
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties  
cd ../
bin/kafka-server-start.sh -daemon config/server.properties 
 
6：查询新版本kafka服务状态，查询节点信息、topic信息，创建topic、生产、消费消息等功能是否正常，此时配置文件还没有更改，如果服务异常，还可以回退到旧版本的kafka服务
 
==========以上更新新版本安装包步骤，在kafka集群节点依次进行，直到集群所有节点上都运行的新版本kafka服务=============
 
 
===========以下配置修改重启后，kafka服务将不再可以回退到旧版本==========
7:修改kafka配置文件server.properties,新增两项配置
vim server.properties
inter.broker.protocol.version=3.5.2
log.message.format.version=3.5.2
 
8:停止刚刚启动的新版本服务
./kafka-server-stop.sh
./zookeeper-server-stop.sh
ps -ef|grep kafka
 
9：再次启动新版本服务
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties  
cd ../
 bin/kafka-server-start.sh -daemon config/server.properties 

5：验证修改配置后的kafka服务状态，查询节点信息、topic信息，创建topic、生产、消费消息等功能是否正常。