赞
踩
主题命令使用 kafka-topic.sh 脚本实现对主题的操作。
命令参数 | 描述 |
--bootstrap-server | Kafka集群配置:node-1:9092,node-2:9092 |
--topic | 指定 topic 名称 |
--create | 创建 topic |
--delete | 删除 topic |
--alter | 更改topic配置,分区,副本等,(注意:分区数只能增加,不能减少) |
--list | 查看topic列表 |
--describe | 查看topic详细信息 |
--partitions | 定义分区数 |
--replication-factor | 定义副本数 |
主题命令使用 kafka-console-producer.sh 脚本实现对主题的操作。
命令参数 | 描述 |
--bootstrap-server | Kafka集群配置 |
--batch-size | 设置分区缓冲区批大小,默认16k |
--compression-codec | 设置压缩格式,gzip(默认), snappy, lz4, 或者 zstd |
--max-memory-bytes | 缓冲区总大小,默认32M |
--topic | 指定发送的topic |
主题命令使用 kafka-console-consumer.sh 脚本实现对主题的操作。
命令参数 | 描述 |
--bootstrap-server | Kafka集群配置 |
--topic | 指定消费主题 |
--from-beginning | 设置从头消费 |
--group | 指定消费者组,不指定会分配默认消费者组 |
--offset | 从指定的offset位置消费消息 |
--partition | 从指定的分区消费消息 |
--skip-message-on-error | 遇到错误消息跳过,而不是停止 |
- # 1、指定配置文件启动kafka(集群需要依次启动每个节点)
- bin/kafka-server-start.sh -daemon config/server.properties
-
- # 2、关闭kafka(集群需要依次关闭每个节点)
- bin/kafka-server-stop.sh
-
- # 3、创建主题
- bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --create --partitions 2 --replication-factor 2
-
- # 4、查看主题详细信息
- bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --describe
-
- # 5、向指定主题中发送数据
- bin/kafka-console-producer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic_name
-
- # 6、指定主题从头消费
- bin/kafka-console-consumer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --from-beginning
-
- # 7、删除主题
- bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --delete
我们在调试过程中除了使用 efak 管理端管理Kafka信息(kafka-zookeeper集群架构可视化监控,Kafka-Eagle安装部署-CSDN博客),大部分也需要通过命令行操作,本文总结了关于Kafka集群主题、生产者、消费者等常用命令行操作。
本人是一个从小白自学计算机技术,对运维、后端、各种中间件技术、大数据等有一定的学习心得,想获取自学总结资料(pdf版本)或者希望共同学习,关注微信公众号:it自学社团。后台回复相应技术名称/技术点即可获得。(本人学习宗旨:学会了就要免费分享)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。