当前位置:   article > 正文

Kafka常用命令行操作_kafka 命令行操作

kafka 命令行操作
1、主题命令

        主题命令使用 kafka-topic.sh 脚本实现对主题的操作。

命令参数描述
--bootstrap-serverKafka集群配置:node-1:9092,node-2:9092
--topic 指定 topic 名称
--create创建 topic
--delete删除 topic 
--alter更改topic配置,分区,副本等,(注意:分区数只能增加,不能减少)
--list查看topic列表
--describe查看topic详细信息
--partitions定义分区数
--replication-factor 定义副本数
 2、生产者命令

        主题命令使用 kafka-console-producer.sh 脚本实现对主题的操作。

命令参数描述
--bootstrap-serverKafka集群配置
--batch-size设置分区缓冲区批大小,默认16k
--compression-codec设置压缩格式,gzip(默认), snappy, lz4, 或者 zstd
--max-memory-bytes缓冲区总大小,默认32M
--topic指定发送的topic
3、消费者命令

         主题命令使用 kafka-console-consumer.sh 脚本实现对主题的操作。

命令参数描述
--bootstrap-serverKafka集群配置
--topic指定消费主题
--from-beginning设置从头消费
--group指定消费者组,不指定会分配默认消费者组
--offset从指定的offset位置消费消息
--partition从指定的分区消费消息
--skip-message-on-error遇到错误消息跳过,而不是停止
4、常用命令行操作汇总
  1. # 1、指定配置文件启动kafka(集群需要依次启动每个节点)
  2. bin/kafka-server-start.sh -daemon config/server.properties
  3. # 2、关闭kafka(集群需要依次关闭每个节点)
  4. bin/kafka-server-stop.sh
  5. # 3、创建主题
  6. bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --create --partitions 2 --replication-factor 2
  7. # 4、查看主题详细信息
  8. bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --describe
  9. # 5、向指定主题中发送数据
  10. bin/kafka-console-producer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic_name
  11. # 6、指定主题从头消费
  12. bin/kafka-console-consumer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --from-beginning
  13. # 7、删除主题
  14. bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --delete
5、总结

        我们在调试过程中除了使用 efak 管理端管理Kafka信息(kafka-zookeeper集群架构可视化监控,Kafka-Eagle安装部署-CSDN博客),大部分也需要通过命令行操作,本文总结了关于Kafka集群主题、生产者、消费者等常用命令行操作。

        本人是一个从小白自学计算机技术,对运维、后端、各种中间件技术、大数据等有一定的学习心得,想获取自学总结资料(pdf版本)或者希望共同学习,关注微信公众号:it自学社团。后台回复相应技术名称/技术点即可获得。(本人学习宗旨:学会了就要免费分享)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/758502
推荐阅读
相关标签
  

闽ICP备14008679号