当前位置:   article > 正文

Kafka部署全攻略——Kafka-KRaft模式框架

Kafka部署全攻略——Kafka-KRaft模式框架

目录

KRaft简单介绍

 与ZK配置对比

Kafka-kraft部署流程

准备工具

上传与解压

修改配置文件

修改服务器角色

修改节点ID

修改控制器仲裁的连接字符串

修改日志存储目录

修改网络I/O数量

修改I/O数量

修改broker保存的分区数

修改broker对外暴露的地址

生成存储目录唯一ID

使用生成的唯一ID格式化kafka存储目录

启动服务

测试kafka

可视化管理工具

准备工具

安装JDK 17

建立配置文件

启动Kafka-UI

访问Kafka-UI

配置Kafka为系统服务


此模式实际测试效果不佳,截止3.4.1版本,其生产能力较zookeeper模式低4倍左右,消费能力较zookeeper模式低0.5倍左右。生产环境暂不建议使用。

KRaft简单介绍

Apache Kafka Raft (KRaft) 是为消除 Apache Kafka 对 ZooKeeper 进行元数据管理的依赖而引入的共识协议。这大大简化了 Kafka 的架构,将元数据的责任合并到 Kafka 本身,而不是将其拆分为两个不同的系统:ZooKeeper 和 Kafka。KRaft 模式在 Kafka 中使用了一个新的仲裁控制器服务,它取代了以前的控制器,并使用了 Raft 共识协议的基于事件的变体。

Apache Kafka在3.0版本中内置的KRaft共识机制取代Zookeeper。该模式在2.8版本当中就已经发布了体验版本,在3.X系列中KRaft是一个稳定release版本。

  • Kafka Quorum 控制器的好处
    1. 通过使用新的元数据管理改进控制平面性能,使 Kafka 集群能够扩展到数百万个分区
    2. 提高稳定性,简化软件,更容易监控、管理和支持 Kafka。
    3. 允许 Kafka 为整个系统提供单一的安全模型
    4. 提供一种轻量级的单进程方式来开始使用 Kafka
    5. 使控制器故障转移几乎是即时的
    6. controller 管理集群时,不再需要从 zookeeper 中先读取数据,集群性能上升;
    7. 由于不依赖 zookeeper,集群扩展时不再受到 zookeeper 读写能力限制

 与ZK配置对比

使用Zookeeper

使用KRaft

配置客户端和服务

zookeeper.connect=zookeeper:2181

bootstrap.servers=broker:9092

配置模式注册表

kafkastore.connection.url=zookeeper:2181

kafkastore.bootstrap.servers=broker:9092

Kafka管理工具

kafka-topics –zookeeper zookeeper:2181

kafka-topics –bootstrap-server broker:9092 … –command-config properties to connect to brokers

REST 代理 API

v1

v2 或 v3

获取 Kafka 集群 ID

zookeeper-shell zookeeper:2181 get/cluster/id

kafka-metadata-quorum或查看metadata.properties或confluent cluster describe –url http://broker:8090 –output json

Kafka-kraft部署流程

准备工具

工具名称

工具版本

包名

下载地址

kakfa

2.13-3.4.1

kafka_2.13-3.4.1.tgz

https://kafka.apache.org/downloads

上传与解压

将kafka安装包kafka_2.13-3.4.1.tgz上传至/apps目录下

  • 进入/apps
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小舞很执着/article/detail/829168
推荐阅读
相关标签
  

闽ICP备14008679号