当前位置:   article > 正文

Spark(42) -- SparkStreaming -- reduceByKeyAndWindow 函数详解_spark streaming reducebykeyandwindow计算top10

spark streaming reducebykeyandwindow计算top10

SparkStreaming中提供一些列窗口函数,方便对窗口数据进行分析,文档:
streaming-programming-guide#window-operations
在实际项目中,很多时候需求:每隔一段时间统计最近数据状态,并不是对所有数据进行统计,称为趋势统计或者窗口统计,SparkStreaming中提供相关函数实现功能,业务逻辑如下:
在这里插入图片描述
针对用户百度搜索日志数据,实现【近期时间内热搜Top10】,统计最近一段时间范围(比如,最近半个小时或最近2个小时)内用户搜索词次数,获取Top10搜索词及次数。

1. 图解

滑动窗口转换操作的计算过程如下图所示,
我们可以事先设定一个滑动窗口的长度(也就是窗口的持续时间),并且设定滑动窗口的时间间隔(每隔多长时间执行一次计算),
比如设置滑动窗口的长度(也就是窗口的持续时间)为24H,设置滑动窗口的时间间隔(每隔多长时间(滑动依次)执行一次计算)为1H
那么意思就是:每隔1H计算最近24H的数据

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号