Hadoop集群搭建_设置yarn核心参数,指定resourcemanager进程所在主机为master,端口为18141

8.设置HDFS参数，关闭hadoop集群权限校验（安全配置)，允许其他用户连接集群

在master、slave1、slave2上操作:

修改 hdfs-site.xml 文件以设置HDFS参数：

vim hdfs-site.xml
1

<property>
 <!--备份文本数量为2-->
 <name>dfs.replication</name>																
   <value>2</value>
 </property>
 <property>
 <!--namenode节点数据存储目录-->
   <name>dfs.namenode.name.dir</name>
   <value>/root/hadoopData/name</value>
 </property>
  <!--datanode节点数据存储目录-->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hadoopData/data</value>
</property>
<!-- 设置HDFS的文件权限-->
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>
<property>
	<name>dfs.datanode.use.datanode.hostname</name>
	<value>true</value>
</property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

9.设置YARN运行环境$JAVA_HOME参数(yarn-env.sh，使用绝对路径)

在master、slave1、slave2上操作:

vim yarn-env.sh
1

修改yarn-env.sh中的第23行为JAVA_HOME路径：

export JAVA_HOME=/usr/java/jdk1.8.0_171
1

10.设置YARN核心参数，指定mapreduce 获取数据的方式为mapreduce_shuffle (yarn-site.xml)

• 在master、slave1、slave2上操作:
  Hadoop完全分布式集群[环境]

vim yarn-site.xml
1

在< configuration></ configuration>中添加如下内容 ：

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
1
2
3
4

11.设置计算框架参数，指定MR运行在yarn上 (mapred-site.xml)

在master、slave1、slave2上操作:

Hadoop集群中没有mapred-site.xml这个文件，因此需要把mapred-site.xml.template复制为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
1
2

在< configuration></ configuration>中添加如下内容 ：

<!-- 指定MR运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
1
2
3
4
5

12.设置节点文件slaves，要求slave1、slave2为子节点

在master、slave1、slave2上操作:

还是在 /usr/hadoop/hadoop-2.7.3/etc/hadoop 路径下，修改master、slaves文件：

vim master
=== 写入 ===
master
1
2
3

vim slaves

=== 写入 ===

slave1
slave2
1
2
3
4
5
6

13.对文件系统进行格式化

在master上操作：

hadoop namenode -format
1

14.启动Hadoop集群查看各节点服务

在master上操作：

start-all.sh start
1

然后输入 yes 即可启动：

15.查看集群运行状态是否正常

hadoop dfsadmin -report
1

也可以查看java进程中的namenode和datanode是否启动jps

（补充）设置YARN核心参数，指定ResourceManager进程所在主机为master，端口为18141：

在master、slave1、slave2上操作:

vim yarn-site.xml
1

在< configuration></ configuration>中添加如下内容 ：

<!-- 指定ResourceManager进程所在主机 -->
<property>
	<name>yarn.resourcemanager.admin.address</name>
	<value>master:18141</value>
</property>
1
2
3
4
5