Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）_idea怎么写spark

本文介绍Intellij IDEA编写Spark应用程序，读取hdfs上的文件，进行文件的词频统计，项目使用maven构建。

一、安装Scala插件
依次选择File->Settings->Plugins，在Marketplace中搜索scala进行安装，安装后根据提示重启IDEA。

二、创建maven项目
1.File->New->Project，选择Maven，点next

2.输入项目的名字，设置想要的GroupId，当然也可以不设置，然后Finish

三、添加pom依赖
1.在服务器spark安装目录下输入./bin/spark-shell，查看spark和Scala的版本

2.pom.xml文件添加代码，把spark.version和scala.version改成自己的版本

<properties>
    <spark.version>2.1.0</spark.version>
    <scala.version>2.11</scala.version>
  </properties>
  <dependencies>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${
   scala.version}</artifactId>
      <version>${
   spark.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_${
   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15