hadoop环境配置（单机伪分布) &WordCount测试&踩坑体验_单机模式mapreduce的wordcount时出现hadoop: command not foun

一. 安装java环境

自己找JAVA安装教程哈，我虚拟机之前装过了，就不写了

二.配置ssh环境

用免密码登录后续启动节点时就不用每次都输密码了

如果你只是想登陆别的机器的SSH只需要安装openssh-client（ubuntu有默认安装，如果没有则sudo apt-get install openssh-client），如果要使本机开放SSH服务就需要安装openssh-server。默认端口是22，如果你之前登录其他机器，这次直接ssh localhost,显示
localhost: ssh: connect to host localhost port 22: Connection refused
很可能就是没装（比如说我…)

#通过dpkg -l 和管道过滤查看是否有ssh server
dpkg -l | grep ssh
#如果没有
sudo apt-get install openssh-server
#rsa方式创建，你可以一路回车
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> authorized_keys
#测试登录
ssh localhost
#退出
logout
1
2
3
4
5
6
7
8
9
10
11

三. 安装hadoop

我的实验课要安装2.7.x版本，然而我在hadoop官网下看的镜像网站下的稳定版本是2.10.x, 3.x，只好在官网其他地方找找，用的是archive下找到的2.7.1，所以，安装巨慢，下载用了快3h…

#新建一个安装文件夹，以后也好找
mkdir ~/hadoop_installs
cd hadoop_installs
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
#解压缩
tar zxvf hadoop-2.7.1.tar.gz
1
2
3
4
5
6

四. 设置环境变量

gedit ~/.bashrc

#一些路径改成你自己的安装路径哈
PATH=$PATH:$HOME/bin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/home/xjm/hadoop_installs/hadoop-2.7.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=${
   JAVA_HOME}/jre
1
2
3
4
5
6
7
8

使环境变量生效 source ~/.bashrc

五. 修改配置文件

可以在hadoop2.7.1/etc/hadoop目录下找到

1. core-site.xml ：主要完成NameNode的ip和端口设置

　<configuration>
  <!-- 用来指定使用hadoop时产生文件的存放目录 -->
  
1
2