Java8+Hadoop2.7+Spark2.4.5_spark2.4.5下载

有用的小工具

安装vm-tools可以取消主机与虚拟机的隔离，使主机复制的内容可以在虚拟机上复制粘贴。

sudo apt-get autoremove open-vm-tools
sudo apt-get install open-vm-tools
sudo apt-get install open-vm-tools-desktop
1
2
3

ps:下载该工具可能会很慢，建议先换掉默认的源镜像。

安装java

1.java8下载地址

2.在自建的路径下解压jdk，sudo tar -zxvf jdk-8u321-linux-x64.tar.gz

3.修改环境变量

sudo vi ~/.bashrc
1

4.按e进入vi编辑器，在尾部添加一下代码（注意java_home路径）

#set oracle jdk environment
export JAVA_HOME=~/java/jvm/jdk1.8.0_321  ## 这里要注意目录要换成自己解压的jdk >目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

1
2
3
4
5
6

ps:本文安装的方法触类旁通，可将环境变量一次性添加完毕

#set oracle jdk environment
export JAVA_HOME=~/java/jvm/jdk1.8.0_321  ## 这里要注意目录要换成自己解压的jdk >目录
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#scala environment
export PATH=$PATH:~/scala/bin ##自行更改个人路径，但要具体到bin目录下
#spark environment
export PATH=$PATH:~/spark/bin ##自行更改个人路径

1
2
3
4
5
6
7
8
9
10

5.最后按esc键退出编辑，输入：wq!保存并退出
6.环境变量生效

source ~/.bashrc
1

7.检验是否安装成功

java -version
1

下载scala

1.scala下载地址

2.进入Scala文件的目录，并解压tar xvf scala-2.12.0.tgz

3.我将解压后Scala的文件复制移动到 ~/scala

4.添加环境变量，与添加java环境变量一致

sudo vi ~/.bashrc
1

export PATH=$PATH:~/scala/bin  ##scala路径为个人的安装路径
1

5.激活环境变量

source ~/.bashrc
1

6.查看安装是否成功

scala -version
1

安装spark

1. spark下载地址
   

2. 下载后将文件解压并改名spark

3. 添加环境变量

export PATH=$PATH:~/spark/bin
1

4.激活环境变量

source ~/.bashrc
1

5.检查是否安装成功

spark-shell
1

安装pyspark

#更新系统包
sudo apt-get update

#安装pip
sudo apt-get install python-pip

#更新pip
pip install --upgrade pip

#安装pyspark
pip install pyspark
1
2
3
4
5
6
7
8
9
10
11