hadoop集群搭建完整教程

hadoop集群搭建教程

需要下载的软件和文件

1. VMware Workstation（我这里下载的是VM15pro)
   百度云链接：https://pan.baidu.com/s/1BHUMkYEQrxmEYkMVHHsmJg
   提取码：8m7k
2. Xshell
   这个用于远程连接，还可以传输文件进虚拟机，并且在后期写入代码时复制粘贴很方便
3. JDK
   我这里用的jdk1.7.0_80的版本，也可以使用其他版本。注意：这里的版本号决定了后面环境搭建的版本号，前后需要一致！
4. Centos镜像文件
   这里用的是CentOS-6.8的，选择其他的也可以。
   百度网盘链接：https://pan.baidu.com/s/1ebR2DFxFM9fbn60KHACMrQ
   提取码：2obd
5. Hadoop源码包

虚拟机的安装及其配置

安装Centos

CentOS命令版安装教程可参考：https://blog.csdn.net/ghyCharles/article/details/115231280

配置固定IP

1. 查看宿主机的IP地址以及网关信息
   

2. 进入网络和Internet设置，选择更改适配器选项
   

3. 选中VMnet8，右键点击进入属性，双击Internet协议版本4（TCP/IPv4)设置IP地址以及网关，网关需要跟宿主机一致，IP地址跟网关在同一个网段即可
   

4. 登录后先重启网络服务service network restart
   

5. 在VMware中点击编辑打开虚拟网络编辑器，选择VMnet８，有些机型需要权限，点击允许即可。取消使用本地DHCP服务将IP地址分配给虚拟机，点击NAT设置，查看并记住网关地址（每个人都不一样）
   

6. 进入到network-scripts目录下修改配置文件vi /etc/sysconfig/network-scripts/ifcfg-eth0
   注意：IPADDR与GATEWAY需要在同一个网段中，且需要对照虚拟网络编辑器中写入
   

7. vi /etc/resolv.conf （填记录的网关地址）
   

8. 然后重启网络

＃service network restart
1

9. 验证
   1. 虚拟机ping宿主机
   2. 主机ping虚拟机
   3. 虚拟机ping网关
   4. 虚拟机ping www.baidu.com

远程连接虚拟机并登录

Xshell可以很方便地复制粘贴代码，之后的修改内容比较多，建议在Xshell运行后进行修改。往后的操作都可以在Xshell和VMware中执行

10. 打开Xshell新建会话，名称随意填，主机填虚拟机设置好的IP地址，然后在用户身份验证输入root跟设置好的密码，然后确定登录，弹出SSH安全警告，选择接受并保存即可
    

11. 进入cd /etc/yum.repo.d目录，执行以