大数据Spark（三十八）：SparkStreaming实战案例三 状态恢复 扩展_sparkstreaming程序宕机后自动恢复的参数

文章目录

SparkStreaming实战案例三 状态恢复-扩展

需求

代码实现

SparkStreaming实战案例三 状态恢复-扩展

需求

在上面的基础之上

实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加

如:

先发送spark,得到spark,1

再发送spark,得到spark,2

再停止程序,然后重新启动

再发送spark,得到spark,3

代码实现

package cn.it.streaming
 
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}
 
/**
 * 使用SparkStreaming接收Socket数据,node01:9999
 * 实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加
 *