Hadoop集群配置——1_hadoop集群搭建至少需要几台服务器

参考《Python+Spark 2.0+Hadoop机器学习与大数据实战_林大贵(著) 清华大学出版社》

一、Hadoop集群

Hadoop集群需要4台服务器才可以建立，可以进行并行处理，所以在虚拟机上创建了master、data1~data3四个服务器。
计算机master在HDFS中作为NameNode，在MapReduce2中作为ResourceManager
计算机data1~data3在HDFS中作为DataNode，在MapReduce2中作为NodeManager

二、Hadoop集群的安装

安装步骤：

1、复制之前安装的单个Hadoop服务器，创建data1虚拟机

（在virtualBox中直接完全复制即可）

2、在virtualBox中设置data1的网卡

在每一台虚拟主机上设置两个网卡（在virtualBox管理器界面上的设置）

• 网卡1：设置为“NAT网卡”，通过Host主机（windows）连接外部网络
• 网卡2：设置为“仅主机适配器”，创建内部网络，用于连接四个虚拟主机与Host主机
  

3、设置data1服务器

固定IP、hostname、core-site.xml、YARN-site.xml、mapred-site.xml、hdfs-site.xml
(1)编辑interfaces网络配置文件
每次开机固定IP：192.168.56.101

sudo gedit /etc/network/interfaces
1

设置网卡1：
设置为“NAT网卡”，通过Host主机连接外部网络，设置为eth0，并设置dhcp自动获得IP地址
设置网卡2：
“仅主机适配器”，建立内部网络。设置为eth1，并设置为static，指定固定IP

# interfaces(5) file used by ifup(8) and ifdown(8)
a
1