Linux上进行Hadoop单机部署_linux hdfs 搭建单机版

我们在/opt目录下新建文件夹hadoop

 

利用第三方工具进行上传hadoop安装包

进行解压： 

tar -zxvf hadoop-2.6.4.tar.gz

进行hosts设置，在目录/etc/hosts下添加本地IP

修改配置文件：

../hadoop2.6.4/etc/hadoop/目录下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml文件

1）core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

在hadoop-2.6.4下建立tmp文件夹

输入 vi core-site.xml

<configuration>
 
<property>
 
<name>hadoop.tmp.dir</name>
 
<value>file:/opt/hadoop/hadoop-2.6.4/tmp</value>
 
<description>Abase for other temporary directories.</description>
 
</property>
 
<property>
 
<name>fs.defaultFS</name>
 
<value>hdfs://Node1:9000</value>
 
</property>
 
</configuration>

mapred-site.xml.template配置: 

vi mapred-site.xml.template

<configuration>
 
<property>
 
<name>mapred.job.tracker</name>
 
<value>Node1:9001</value>
 
</property>
 
</configuration>

hdfs-site.xml配置:

新建 tmp/dfs/name 以及tmp/dfs/data文件夹，可根据自己配置

vi hdfs-site.xml

<configuration>
 
<property>
 
<name>dfs.replication</name>
 
<value>1</value>
 
</property>
 
<property>
 
<name>dfs.namenode.name.dir</name>
 
<value>file:/opt/hadoop/hadoop-2.6.4/tmp/dfs/name</value>
 
</property>
 
<property>
 
<name>dfs.datanode.data.dir</name>
 
<value>file:/opt/hadoop/hadoop-2.6.4/tmp/dfs/data</value>
 
</property>
 
</configuration>

hadoop-env.sh配置:

指定JDK位置

vi hadoop-env.sh

hadoop环境变量配置

 
#####  JAVA  #######
export JAVA_HOME=/opt/java/jdk1.8.0_202
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
###  HADOOP  ###
export HADOOP_HOME=/opt/hadoop/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HAME/sbin

运行hadoop

初始化HDFS系统

在hadop2.6.4目录下执行命令：

hdfs namenode -format

初始化成功

启动hadoop

使用jps命令查看进程信息：

若出现如图所示结果，则说明DataNode和NameNode都已经开启

查看web界面

在浏览器中输入 http://192.168.3.20:50070 ，即可查看相关信息，截图如下

至此，hadoop的环境就已经搭建好了。

测试

在hdfs的根目录下建立了一个test目录

进入bin目录下输入下面命令

hdfs dfs -mkdir /test

# 查看HDFS根目录下的目录结构

将本地hello.txt文件上传到test目录中

上传：

hdfs dfs -put /opt/hadoop/hello.txt /test/

查看：

hdfs dfs -ls /test/

运行wordcount demo

将运行结果保存在/test/out目录下

输入到/opt/hadoop/hadoop-2.6.4

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /test/hello.txt /test/out

查看/test/out文件：

查看part-r-00000中的运行结果：

hadoop fs -cat /test/out/part-r-00000

至此，wordcount demo 运行结束。

安装ssh服务

在我们启动hadoop中会输入密码：我们可以设置ssh服务，也可以创建用户去设置ssh服务，这里只是在root用户下去设置：

运行ssh localhost进行验证

需要输入密码。我们开始设置

输入 

cd ~/.ssh　 # 如果找不到这个文件夹，先执行一下 "ssh localhost"

输入

ssh-keygen -t rsa

输入：

cp id_rsa.pub authorized_keys

查看

cat ~/.ssh/id_rsa.pub

至此ssh配置完成。我们来重新启动hadoop则不需要密码

进入/opt/hadoop/hadoop-2.6.4/sbin目录下

先关闭hadoop，输入./stop-all.sh

启动：

至此所有完成。祝你好运！！！