linux下spark的安装流程_spark2.4.0安装包

spark安装与启动（Standalone模式、普通用户）

1.下载对应的spark包

https://archive.apache.org/dist/spark/spark-2.4.0/ 是2.4.0版本 结合你使用的hadoop版本

2.解压spark安装包并重命名

tar -zxvf spark-2.4.0-bin-hadoop2.7.gz -C /app/module/

mv spark-2.4.0-bin-hadoop2.7 spark-2.4.0

3.修改配置文件(前提：在windows下已经修改了ip和主机名的映射关系)

3.1修改spark-env.sh文件

进入到spark-2.4.0/conf目录

cd spark-2.4.0/conf

复制并重命名

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

添加如下内容：

#配置java环境变量
#export JAVA_HOME=/app/module/jdk1.8.0_211
#指定Master的IP
export SPARK_MASTER_HOST=hadoop01
#指定Master的端口
export SPARK_MASTER_PORT=7077
1
2
3
4
5
6

3.2修改slaves

cp slaves.template slaves

指定spark集群中的从结点IP

vim slaves

添加如下内容：

hadoop02
hadoop03
1
2

4.分发文件

scp -r /app/module/spark-2.4.0/ hadoop02:/app/module/

scp -r /app/module/spark-2.4.0/ hadoop03:/app/module/

5.启动

为了全局都能使用，所以修改系统变量

su root

vim /etc/profile

添加如下内容：

export JAVA_HOME=/app/module/jdk1.8.0_211
export HADOOP_HOME=/app/module/hadoop-3.1.3
export HIVE_HOME=/app/module/hive-3.1.2
export SQOOP_HOME=/app/module/sqoop-1.4.6
export ZOOKEEPER_HOME=/app/module/zookeeper-3.4.10
export FLUME_HOME=/app/module/flume-1.8.0
export SPARK_HOME=/app/module/spark-2.4.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$FLUME_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
1
2
3
4
5
6
7
8

source /etc/profile

启动spark集群

su lgy

start-master.sh（关闭 stop-master.sh）

start-slaves.sh（关闭 stop-slaves.sh）

到这里就结束了！！！