当前位置:   article > 正文

大数据集群搭建---《高可用hadoop篇》 --菜鸟小回_④大数据高可靠集群

④大数据高可靠集群

大数据集群搭建—《高可用hadoop篇》 --菜鸟小回


汇总篇:
大数据集群搭建(zookeeper、高可用hadoop、高可用hbase)
接上篇:
大数据集群搭建—《zookeeper篇》


三、hadoop集群搭建(先配zhiyou001复制给其他,配置前确保zookeeper配置完成)

  1. 创建:mkdir /opt/hadoop
  2. 进入:cd /opt/hadoop
  3. 上传:
  4. 解压:tar -zxvf tar -zxvf hadoop-2.7.3
  5. 配置hadoop环境变量
vi /etc/profile
//添加
#配置hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
  • 1
  • 2
  • 3
  • 4
  • 5
  1. 刷新配置文件并测试
source /etc/profile
hadoop
  • 1
  • 2
  1. 修改core-site.xml
cd /opt/hadoop/hadoop-2.7.3/etc/hadoop/
vi core-site.xml

//在<configuration>中添加如下内容
 <!-- 指定hdfs的nameservice为ns --> 
        <property> 
                <name>fs.defaultFS</name> 
                <value>hdfs://ns</value> 
        </property> 

        <!--指定hadoop数据存放目录--> 
        <property> 
                <name>hadoop.tmp.dir</name> 
                <value>/zhiyou/hadoop/tmp</value> 
        </property> 

        <property> 
                <name>io.file.buffer.size</name> 
                <value>4096</value> 
        </property> 

        <!--指定zookeeper地址--> 
        <property> 
                <name>ha.zookeeper.quorum</name> 
                <value>zhiyou001:2181,zhiyou002:2181,zhiyou003:2181</value> 
        </property> 


        <property>
                <name>ipc.client.connect.max.retries</name>
                <value>100</value>
                <description>Indicates the number of retries a client will make to establish
                a server connection.
                </description>
        </property>

        <property>
                <name>ipc.client.connect.retry.interval</name>
                <value>10000</value>
                <description>Indicates the number of milliseconds a client will wait for
                before retrying to establish a server connection.
                </description>
        </property>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • enter description here
  1. hdfs-site.xml
vi hdfs-site.xml
//同样在<configuration>中添加如下内容
<!--指定hdfs的nameservice为ns,需要和core-site.xml中的保持一致 -->      
    <property>      
        <name>dfs.nameservices</name>      
        <value>ns</value>      
    </property>    
    <!-- ns下面有两个NameNode,分别是nn1,nn2 -->  
    <property>  
       <name>dfs.ha.namenodes.ns</name>  
       <value>nn1,nn2</value>  
    </property>  
    <!-- nn1的RPC通信地址 -->  
    <property>  
       <name>dfs.namenode.rpc-address.ns.nn1</name>  
       <value>zhiyou001:9000</value>  
    </property>  
    <!-- nn1的http通信地址 -->  
    <property>  
        <name>dfs.namenode.http-address.ns.nn1</name>  
        <value>zhiyou001:50070</value>  
    </property>  
    <!-- nn2的RPC通信地址 -->  
    <property>  
        <name>dfs.namenode.rpc-address.ns.nn2</name>  
        <value>zhiyou002:9000</value>  
    </property>  
    <!-- nn2的http通信地址 -->  
    <property>  
        <name>dfs.namenode.http-address.ns.nn2</name>  
        <value>zhiyou002:50070</value>  
    </property>  
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->  
    <property>  
         <name>dfs.namenode.shared.edits.dir</name>  
         <value>qjournal://zhiyou001:8485;zhiyou002:8485;zhiyou003:8485/ns</value>  
    </property>  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->  
    <property>  
          <name>dfs.journalnode.edits.dir</name>  
          <value>/zhiyou/hadoop/journal</value>  
    </property>  
    <!-- 开启NameNode故障时自动切换 -->  
    <property>  
          <name>dfs.ha.automatic-failover.enabled</name>  
          <value>true</value>  
    </property>  
    <!-- 配置失败自动切换实现方式 -->  
    <property>  
            <name>dfs.client.failover.proxy.provider.ns</name>  
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
    </property>  
    <!-- 配置隔离机制 -->  
    <property>  
             <name>dfs.ha.fencing.methods</name>  
             <value>sshfence</value>  
    </property>  
    <!-- 使用隔离机制时需要ssh免登陆 -->  
    <property>  
            <name>dfs.ha.fencing.ssh.private-key-files</name>  
            <value>/root/.ssh/id_rsa</value>  
    </property>  
                                
    <property>      
        <name>dfs.namenode.name.dir</name>      
        <value>file:///zhiyou/hadoop/hdfs/name</value>      
    </property>      
      
    <property>      
        <name>dfs.datanode.data.dir</name>      
        <value>file:///zhiyou/hadoop/hdfs/data</value>      
    </property>      
      
    <property>      
       <name>dfs.replication</name>      
       <value>3</value>      
    </property>     
    <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->                                                                      
    <property>      
       <name>dfs.webhdfs.enabled</name>      
       <value>true</value>      
    </property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • enter description here
  1. mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml 
//添加configuration
<property>      
    <name>mapreduce.framework.name</name> 
    <value>yarn</value> 
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  1. yarn-site.xml
vi yarn-site.xml 
//添加configuration
<!-- 指定nodemanager启动时加载server的方式为shuffle server --> 
  <property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value> 
  </property> 
  <!-- 指定resourcemanager地址 --> 
  <property> 
    <name>yarn.resourcemanager.hostname</name> 
    <value>zhiyou003</value> 
  </property> 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • enter description here
  1. hadoop-env.sh
//找到文件的export JAVA_HOME=${JAVA_HOME} 一行修改
export JAVA_HOME=/opt/java/jdk1.8.0_141
  • 1
  • 2
  1. slaves
//修改localhost为
zhiyou001
zhiyou002
zhiyou003
  • 1
  • 2
  • 3
  • 4
  1. 复制内容到zhiyou002,zhiyou003里面
//1. hadoop
scp -r /opt/hadoop/ root@zhiyou002:/opt/hadoop/
scp -r /opt/hadoop/ root@zhiyou003:/opt/hadoop/
//2. /etc/profile
scp -r /etc/profile root@zhiyou002:/etc/profile
scp -r /etc/profile root@zhiyou003:/etc/profile
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  1. 三台启动zookeeper
cd /opt/zookeeper/zookeeper-3.4.12/bin/
./zkServer.sh start
  • 1
  • 2
  1. 三台启动journalnode集群
cd /opt/hadoop/hadoop-2.7.3/sbin/
./hadoop-daemon.sh  start  journalnode
  • 1
  • 2
  • enter description here
  1. 在zhiyou001上格式化zkfc:hdfs zkfc -formatZK
  2. 在zhiyou001上格式化hdfs:hadoop namenode -format
  3. 在zhiyou001上启动namenode:./hadoop-daemon.sh start namenode
  • enter description here
  1. 在zhiyou002上启动数据同步和standby的namenode
hdfs namenode -bootstrapStandby
./hadoop-daemon.sh start namenode
  • 1
  • 2
  1. 在zhiyou01 上启动datanode:./hadoop-daemons.sh start datanode
  2. 在zhiyou03上启动yarn:./start-yarn.sh
  3. 在zhiyou01上启动zkfc:./hadoop-daemons.sh start zkfc
  4. 查看所有进程启动情况
    zhiyou001(7个)
  • enter description here
    zhiyou002(7个)
  • enter description here
    zhiyou003(6个)
  • enter description here
  1. 此时浏览器访问hadoop可以访问到(本机配需要配C:\Windows\System32\drivers\etc\hosts与虚拟机相同)
192.168.80.128 zhiyou001
192.168.80.129 zhiyou002
192.168.80.130 zhiyou003
访问:
zhiyou001:50070
zhiyou002:50070
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

enter description here

  1. 高可用测试:
//zhiyou001和zhiyou002都先安装fuser
yum -y install psmisc
//关闭hadoop
cd /opt/hadoop/hadoop-2.7.3/sbin/
./stop-all.sh
//重新开启
./start-all.sh
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  1. 浏览器测试

a. 查看状态

zhiyou001:50070(active)
zhiyou002:50070(standby)
  • 1
  • 2
  • enter description here
    b. 关掉active(zhiyou001)的namenode节点
    kill -9 “namenode节点”
  • enter description here
    c. 再次访问;发现该节点自己动升级为(active)
    zhiyou002:50070
  • enter description here
  1. 上传文件测试
  • 上传文件只能通过active节点上传查看。当active节点挂掉时,standby节点升级为active节点。同样可以查看到原来上传的文件。
    enter description here

可能问题:

  • 博主在配置过程中出现datanode节点无法启动的错误,
    最后查看日志文件发现是生成name文件和data文件中的id不一致。应该是格式化时出现的问题。最为简单粗暴的解决办法:删除后两台主机的hadoop文件以及三台主机格式化生成的根目录zhiyou文件夹。重新复制hadoop文件夹到后两台主机。问题解决!也可以百度datanode启动不了按照教程配置生成name和data文件。

接下篇:
大数据集群搭建—《高可用Habse篇》

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/寸_铁/article/detail/776578
推荐阅读
相关标签
  

闽ICP备14008679号