搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
在线问答5
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
python爬虫模拟浏览器_python爬虫利器 pyppeteer(模拟浏览器) 实战
2
Spring SpringBoot 拦截器配置_springboot 配置拦截器
3
HVV蓝队扫盲,关于HVV你不知道的全在这·HVV专题_hvv 防护技战术
4
注解与反射
5
MongoDB和MySQL性能测试及其结果分析
6
md5.js
7
Net6 用imagesharp 实现跨平台图片处理并存入oss_zxing imagesharp
8
Linux CentOS7 深度学习环境 安装 CUDA Cudnn 验证安装成功 3080Ti 显卡 pytorch验证_centos验证cudnn是否安装成功
9
论文阅读——ELECTRA
10
ICML/ICLR‘22 推荐系统论文梳理_iclr2022录用论文
当前位置:
article
> 正文
【Kafka面试】Kafka的高可用机制有了解吗?_kafka高可用
作者:在线问答5 | 2024-07-02 23:42:02
赞
踩
kafka高可用
一、集群模式
Kafka集群由多个broker组成,每个broker就是Kafka实例。
假如某个broker宕机,在集群中其他的broker依然可以对外提供服务,这个就是集群能够保证高可用性。
二、分区备份机制
分区提供了副本机制,
一个分区可能存在多个副本,并且这些副本分别存储在不同的broker中
。
leader副本对外提供读写数据,同一个分区下的所有副本存储的内容是一样的
。由leader负责把数据同步给其他follower。
当某个分区的leader所在的broker宕机了,就会从其他的broker的follower中选举一个成为新的leader,继续对外服务。这样保证了系统的容错性和高可用性。
1. follower分类
ISR副本
:in-sync-replica,需要同步复制保存的follower副本。标名为ISR的副本,
leader在同步数据时,以同步请求方式
。同步请求的数据更具有完整性,
普通副本:普通副本,leader在同步数据时,以异步请求方式。异步请求无法保证完整性。
如果leader宕机了,肯定是I
SR中的副本更加接近leader中的数据
。
2. leader宕机,新的leader选举原则
ISR配置
:在broker配置中,可以设定topic副本数量和ISR最少个数。根据实际情况设置。
ISR同步保存数据,性能不高,
一般至少会设置1个ISR列表,其他的尽量设置为普通副本
。保证高可用的前提下,
数据的时效性
。
选举时优先从ISR中选定
,因为这个列表中的follower的数据是与leader同步的。
如果ISR列表中的follower都不行了,就只能从其他的普通follower中选取。
三、总结
四、模拟面试
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/在线问答5/article/detail/781279
推荐阅读
article
HDFS
HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqoo...
大数据部署
HDFS
HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqool、Flu...
赞
踩
article
kafka
入门_
character
:
kafka
...
一、简介1.是什么是一个分布式、支持分区的(partition)、多副本的(replication),基于zookeep...
赞
踩
article
Kafka
安全认证及权限控制_
kafka
-
client
-
jaas
.
conf
...
作者:wjun平台:MacOS版本:
Kafka
2.4.1 、Zookeeper 3.6.2一、Zookeeper 配置...
赞
踩
article
Kafka
Security
Mechanism (
SASL
/
PLAIN
)_
kafka
mechan...
Bharat ViswanadhamPublished on April 10, 2017 / Updated on J...
赞
踩
article
kafka
常见报错及解决方法(
to
pic
类、生产消费类、启动类)_
failed
to
constru...
kafka
常见问题及解决方法启动报错第一种错误2017-02-17 17:25:29,224] FATAL Fatal ...
赞
踩
article
14-
Kafka
-
Day03
...
可以理解为分配的结果带有“粘性的”。即在执行一次新的分配之前, 考虑上一次分配的结果,尽量少的调整分配的变动,可以节省大...
赞
踩
article
聊聊
Kafka
:如何避免
消费
组的
Rebalance
_避免
kafka
消费
者
因超时rebalance...
一、前言我们上一篇聊了
Rebalance
机制,相信你对
消费
组的重平衡有个整体的认识。这里再简单回顾一下,Rebala...
赞
踩
article
kafka
reblance
入门_kafaka
reblance
...
概念Rebalance 本质上是一种协议,规定了一个 Consumer Group 下的所有 consumer 如何达成...
赞
踩
article
kafka
rebalance
问题
解决方案_
kafka
rebalance
问题
解决...
写在前面估计运维年前没有祭拜服务器,Nginx的
问题
修复了,Kafka又不行了。今天,本来想再睡会,结果,电话又响了。还...
赞
踩
article
Kafka
实战 -
Kafka
消费者
生产经验之
分区
的
分配
及再
平衡
、
数据
积压和
消费者
事务_
kafka
...
通过妥善处理
Kafka
消费者
的
分区
分配
与再
平衡
、有效应对
数据
积压问题以及合理使用
消费者
事务,可以显著提升
Kafka
...
赞
踩
article
Kafka
中的
再
均衡
_
kafka
再
均衡
...
我们先回顾下,一个主题可以有多个分区,而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费,...
赞
踩
article
Kafka
消费
者
如何
实现
消费
者
组内
分区
平衡,
Kafka
常见问题
_
kafka
分区
消费
不均衡...
消费
者
分区
策略具体讲解,总结
Kafka
面试常见的问题。_
kafka
分区
消费
不均衡
kafka
分区
消费
不均衡 ...
赞
踩
article
Kafka
【
再
平衡
】_
kafka
再
平衡
...
kafka
再
平衡
_
kafka
再
平衡
kafka
再
平衡
...
赞
踩
article
【
Kafka
】
Kafka
再
平衡
机制及相关参数_两个节点
消费
kafka
如何
平衡
...
再
平衡
是指的是Consumer Group 下的 Consumer 所订阅的Topic发生变化时 发生的一种分区重分配机...
赞
踩
article
kafka
consumer
分区
reblance
算法_
rebalance
算法...
Rebalance 本质上是一种协议,规定了一个 Consumer Group 下的所有
consumer
如何达成一致...
赞
踩
article
Kafka
——
再
均衡
原理详解_
kafka
再
均衡
实现原理...
具体来说,每个消费组的元数据信息都是一条消息,不过这类消息并不依赖于具体版本的消息格式,因为它只定义了消息中的key和v...
赞
踩
article
kafka
—
分区
的分配和
再
平衡
_
kafka
分区
再
平衡
...
kafka
分区
的分配以及
再
平衡
的知识点_
kafka
分区
再
平衡
kafka
分区
再
平衡
...
赞
踩
article
实现
logback
+
kafka
+
ELK
的
SSH
项目
日志
改造_
logback
kafka
...
实现
logback
+
kafka
+
ELK
的
SSH
项目
日志
改造1 简介前言:
SSH
框架中已集成
logback
,部...
赞
踩
article
#
Kafka
_
深入探秘
者
(
1
):初识
kafka
...
Kafka
_
深入探秘
者
(
1
):初识
kafka
第
1
章 0
1
-特性 第
1
章 02-概念详解 第
1
章 03-环境配置jdk、...
赞
踩
article
kafka
(
二)
安装
部署
(
2)
windows
...
(
1)进入config目录 ,复制zoo_sample.cfg文件,改名为zoo.cfg,更改。
安装
Kafka之前,需要...
赞
踩
相关标签
HDFSHA
Zookeeper
HBaseHive
Sqool
Flume-ng
kafka
大数据
分布式
reblance
big data
java
再平衡
rebalance