搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
从前慢现在也慢
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
记录一下一些收藏的网页
2
pip 清华源_-i 清华源
3
【华为OD】C卷200分真题 100%通过:路口最短时间问题 JS语言代码实现[思路+代码]_> 假定街道是棋盘型的,每格距离相等,车辆通过每格街道需要时间均为 timeperroad;
4
手把手教你用Python部署自己的VPN_python与strongswan库_pip install strongswan
5
使用多线程遇到的bug_nginx 多线程 bug
6
中国软件行业几乎全军覆没
7
Selenium Edge的无头浏览器模式以及反WebDriver检测
8
C# 自定义Label实现 指定字符串(关键词)高亮显示(字体、颜色)_c#自定义lable
9
2024年高考作文考人工智能,人工智能写作文能否得高分
10
基于FPGA的NCO实现_fpga nco
当前位置:
article
> 正文
Kafka系列之:延时队列_kafka延迟消息队列
作者:从前慢现在也慢 | 2024-07-08 13:28:40
赞
踩
kafka延迟消息队列
Kafka
系列之:深入理解延时队列
一、延时队列概念和使用场景
二、延时队列实现方案
一、
延时队列
概念和使用场景
队列是存储消息的载体,延时队列存储的对象是延时消息。所谓的延时消息是指消息被发送以后,并不想让消费者立刻获取,而是等待特定的时间后,消费者才能获取这个消息进行消费,延时队列一般也被称为延迟队列。
延时与TTL的区别:延时的消息达到目标延时时间后才能被消费,而TTL的消息达到目标超时时间后会被丢弃。
延时队列的使用场景有很多,比如:
在订单系统中,一个用户下单之后通常有30分钟的时间进行支付,如果30分钟之内没有支付成功,那么订单将进行异常处理,这时就可以使用延时队列来处理这些订单了。
订单完成1小时后通知用户进行评价。
用户希望通过手机远程遥控家里的智能设备在指定时间进行工作。就可以将用户指令发送到延时队列,当指令设定的时间到了之后再将它推送到智能设备。
二、延时队列实现方案
在发送延时消息的时候并不是先投递到要发送的真实主题中,而是先投递到要发送的真实主题中real_topic中,而是先投递到一些kafka内部的主题delay_topic中,这些内部主题对用户不可见,然后通过一个自定义的服务拉取这些内部主题中的消息,并将满足条件的消息再投递到要发送的真实的主题中,消费者所订阅的还是真实的主题。
按照不同的延时等级来划分,比如设定5s、10s、30s、1min、2min、5min、10min这些按延时时间递增的延时等级,延时的消息按照延时时间投递到不同等级的主题中,投递到同一主题中的消息的延时时间差范围之内(比如延时时间为17s的消息投递到30s的延时主题中,之后按照延时时间为30s进行计算,延时误差为13s)。虽然有一定的延时误差,但是误差可控,并且这样只需要增加少许的主题就能实现延时队列的功能。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/798878
推荐阅读
article
Kafka
实战 -
Kafka
优化之实现延时
队列
_
kafka
-
delayed
-
producer
...
总结来说,在实现
Kafka
延迟
队列
时,可以根据项目的具体需求、现有技术栈以及团队的开发运维能力,选择上述的一种或多种...
赞
踩
article
Kafka
3
.
x
.
x
入门到精通(
02
)——对标尚
硅谷
Kafka
教程_
kafka
3
...
Kafka
是一个由Scala和Java语言开发的,经典高吞吐量的分布式消息发布和订阅系统,也是大数据技术领域中用作数据交...
赞
踩
article
Kafka
管理
TCP
连接...
Kafka
管理
TCP
连接
Kafka
管理
TCP
连接 生产者管理
TCP
连接
Kafka
生...
赞
踩
article
kafka
生产者
API 实践总结...
kafka
对外提供的 API 主要有两类:
生产者
API 和 消费者 API,本文将从Kafka
生产者
的设计和组件讲起...
赞
踩
article
【
Kafka
-
3
.x-
教程
】-【一】
Kafka
概述、
Kafka
快速入门_
kafka
cdc
s
3
...
Kafka
是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大
数据
实时处理领域。缓冲...
赞
踩
article
Kafka
3
.
x
.
x
入门到精通(08)——对标尚
硅谷
Kafka
教程
_尚
硅谷
kafka
3
.
x
教程
资...
Kafka
是一个由Scala和Java语言开发的,经典高吞吐量的分布式消息发布和订阅系统,也是大数据技术领域中用作数据交...
赞
踩
article
【2
0
24】
kafka
原生以及配合
springboot
的
使用
(
Kafka
-
3
)_
kafka
3
.
0
.
0
...
本文主要是介绍通过
使用
原生代码方式和结合
springboot
分别如何更好的去
使用
理解
kafka
如果需要看理论或者安装ka...
赞
踩
article
消息
队列三|
Kafka
如何做到
高
可用
?
_
kafka
高
可用
...
Kafka
如何做到
高
可用
?
_
kafka
高
可用
kafka
高
可用
我们在之前的文章中,聊到...
赞
踩
article
kafka
(八):
Kafka
高
可用性
_
kafka
可用性
...
1.
Kafka
Partition Replication 功能:增加Topic分区的
可用性
每个Partition分...
赞
踩
article
图解
kafka
的
高可用
机制
...
2019独角兽企业重金招聘Python工程师标准>>> ..._kafaka 高可用使用
的
协议k...
赞
踩
article
【
Kafka
】三.
Kafka
怎么保证高
可用
学习总结_
kafka
如何
实现
高
可用
...
Kafka
的高
可用
实现
主要依赖副本机制。_
kafka
如何
实现
高
可用
kafka
如何
实现
高
可用
...
赞
踩
article
zookeeper
+
kafka
集群
和高
可用
...
1、本机环境 操作系统:ubuntu 12.04 需安装: java的环境,安装过程可参考: http://blo...
赞
踩
article
Kafka
使用
Java实现
数据
的
生产
和消费
demo
...
前言在上一篇中讲述如何搭建kafka集群,本篇则讲述如何简单的
使用
kafka 。不过在
使用
kafka的时候,还是应该简...
赞
踩
article
kafka
HA
(高可用搭建)
_
kafka
ha
...
1、进入
kafka
的安装目录下的config目录2、修改 server.properties 配置文件[
ha
doop@h...
赞
踩
article
使用
Apache
Kafka
构建
实时
数据
处理
应用_
kafka
实时
数据
是什么...
简介
Apache
Kafka
的基本概念
实时
数据
处理
的重要性
Apache
Kafka
的核心概念主题(Topic)和分区(P...
赞
踩
article
Kafka
之
Connect
配置
和
Stream
配置
_
kafka
-connectors
配置
...
Kafka
Connect
是一款可扩展并且可靠地在 Apache
Kafka
和其他系统之间进行数据传输的工具。可以很...
赞
踩
article
Kafka
Connect
:构建强大分布式
数据
集成
方案_
kafka
connetct
平台...
在本篇文章中,深入探讨了
Kafka
Connect
的核心架构、实战应用以及高级特性。通过详细的示例代码,展示了如何灵...
赞
踩
article
漏洞预警|
Apache
Kafka
Connect
JNDI注入漏洞_
kafka
-
clients
2...
棱镜七彩漏洞预警_
kafka
-
clients
2.3.0 漏洞
kafka
-
clients
2.3.0 漏洞 ...
赞
踩
article
Kafka
-
Connect
实践...
一、
Kafka
-
Connect
介绍
Kafka
是一个使用越来越广的消息系统,尤其是在大数据开发中(实时数据处理和分析)...
赞
踩
article
kafka
启动
_
使用
用户
密码
连接
kafka
...
使用
kafka
用户
密码
配置访问权限01—配置jaas 文件配置server jaas 文件[root@web148 ka...
赞
踩
相关标签
kafka
分布式
数据库
#kafka概述
#kafka快速入门
spring boot
大数据
中间件
java
消息队列
高并发
Kafka
HA
运维
netty
学习