配置Hadoop伪分布式_要配置hadoop单节点伪分布式系统,需要对刚解压后的hadoop文件中的某些配置文件做

1.上传并解压JDK、hadoop安装包。

2.配置JDK、hadoop环境变量。

3.修改配置文件。

3.1进入hadoop配置文件目录

#进入/opt/apps/hadoop/etc/hadoop配置文件目录,/opt/apps/hadoop为hadoop软件包的根路径
cd /opt/apps/hadoop/etc/hadoop
1
2

3.2修改hadoop-env.sh里面的JDK路径。

vi hadoop-env.sh 
1

3.3修改core-site.xml文件。

#创建hdfs文件存储目录
mkdir -p /opt/apps/hadoop/tmp
# 在hadoop的etc/haoop目录中找到core-site.xml
vi core-site.xml
1
2
3
4

core-site.xml。

主机名修改为免密登录时的主机名，不然免密登录不生效。

<!-- fs.defaultFS：该参数是配置指定HDFS的通信地址。其值为hdfs://localhost:9000，9000为端口号，可根据情况修改，伪分布模式下主机名一般不需要修改。
hadoop.tmp.dir：该参数配置的是Hadoop临时目录，即指定Hadoop运行时产生文件的存储路径，其值可以自行设置，不能设置为/tmp（/tmp是Linux的临时目录）。-->
<property>
     <name>fs.defaultFS</name>
    <!--这里主机名修改为免密登录时的主机名，不然免密登录不生效-->
     <value>hdfs://localhost:9000</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/apps/hadoop/tmp</value>
</property>
1
2
3
4
5
6
7
8
9
10
11

3.4修改hdfs-site.xml文件。

vi hdfs-site.xml
1

<!--dfs.replication：该参数是配置HDFS系统的副本数，因为这里是伪分布模式，只有一个节点，所以设置为1.-->
<property>
     <name>dfs.replication</name>
     <value>1</value>
</property>
1
2
3
4
5

3.5格式化名称节点。

hdfs namenode -format
1

3.6配置mapred-site.xml。

根据已有的配置文件模板复制一份出来。

cp mapred-site.xml.template mapred-site.xml
1

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>
1
2
3
4

3.7通过start-all.sh命令启动hdfs和yarn。

3.8通过jps查看Hadoop伪分布式的进程。

3.9关闭centos7防火墙。

# 通过命令关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启
systemctl disable firewalld
1
2
3
4

3.10通过web形式访问HDFS。

HDFS web地址http://192.168.26.111:50070/

YARN web地址http://192.168.26.111:8088/cluster

参考文献

伪分布式参考博客 https://blog.csdn.net/JunLeon/article/details/120504843