Spark primer 之 统计csdn十大常用密码_常见密码统计

受 http://blog.csdn.net/luyee2010/article/details/8620112文章启发
Notice:密码来源网络（top-10密码都为弱口令，没什么挖掘价值）
密码格式为 ：账号 # 密码 # 邮箱 例如：Lqwert # 123456 # XXXXX@163.com

看代码
Object countPass {
def main(args :Array[String]){
val conf = new SparkConf().setAppName(“countpass”).setMaster(“local”)
val sc = new SparkContext(conf)
def fun(str:String):Array[String]{
val arr = str.split(“ # ”)
arr2 = Array(arr(2))
return arr2
}
sc.flatMap(fun(line)).map((,1)).reduceByKey(+_).map(e => (e._2,e._1)).sortByKey(false).collect.foreach(println)
}
}
结果