Spark(42) -- SparkStreaming -- reduceByKeyAndWindow 函数详解_spark streaming reducebykeyandwindow计算top10

作者：木道寻08 | 2024-06-22 03:08:21

踩

spark streaming reducebykeyandwindow计算top10

SparkStreaming中提供一些列窗口函数，方便对窗口数据进行分析，文档：
streaming-programming-guide#window-operations
在实际项目中，很多时候需求：每隔一段时间统计最近数据状态，并不是对所有数据进行统计，称为趋势统计或者窗口统计，SparkStreaming中提供相关函数实现功能，业务逻辑如下：
在这里插入图片描述
针对用户百度搜索日志数据，实现【近期时间内热搜Top10】，统计最近一段时间范围（比如，最近半个小时或最近2个小时）内用户搜索词次数，获取Top10搜索词及次数。

1. 图解

滑动窗口转换操作的计算过程如下图所示，
我们可以事先设定一个滑动窗口的长度(也就是窗口的持续时间)，并且设定滑动窗口的时间间隔(每隔多长时间执行一次计算)，
比如设置滑动窗口的长度(也就是窗口的持续时间)为24H,设置滑动窗口的时间间隔(每隔多长时间(滑动依次)执行一次计算)为1H
那么意思就是:每隔1H计算最近24H的数据

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】