（一）Spark本地开发环境搭建与远程debug设置_spark debug

快速看完《Spark大数据处理 技术、应用与性能优化》前四章后，对Spark有了一个初步的了解，终于踏出了第一步，现在需要在Spark集群中做些测试例子，熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。由于采用的Spark是今年5月24号才发布的Spark2.1.1，网上大多数例子都是Spark1.X，因此走了不少弯路，才搭建好开发环境。

一：版本概述

Spark版本：2.1.1
IntelliJ IDEA：2017.1.5
开发环境：mac
测试环境：Linux

二：本地开发环境搭建

1、新建一个Maven项目，archetype选择scala

2、导入spark相关包

配置pom.xml，然后Maven自动下载依赖包，Spark2.X已经不提供spark-assembly-1.5.0-hadoop2.4.0.jar 之类的jar包，改成了一些小的jar包，存放在jars目录下。开发的时候可以全部导入jars目录下的jar包，但更方便的是使用maven可以方便的自动导入spark2.1.1开发所需要的包。

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.1.1</version>
      
1
2
3
4
5