热门标签
热门文章
- 1花3个月面过京东测开岗，拿个22K不过分吧？_京东测开一共几面
- 2大厂经典面试题：Redis为什么这么快？
- 3【深度学习】实践方法论
- 4重磅！Stable Diffusion 3.0正式开源！史上最强AI绘画模型！（附安装方法和下载地址）_stable diffusion 3 下载
- 5如何使用 Git 优雅的回滚_怎么在本地revert一整个mr
- 6CNN卷积神经网络故障诊断（Matlab）_cnn故障诊断matlab
- 7二刷算法训练营Day41 (Day40休息) | 动态规划(3/17)
- 8[SwiftUI]页面跳转_swiftui 页面跳转
- 9FPGA自动洗衣机的设计与验证（Verilog编写）_fpga洗衣机设计
- 10neo4j导出导入csv文件_neo4j导出csv
当前位置: article > 正文
大数据集群搭建---《高可用hadoop篇》 --菜鸟小回_④大数据高可靠集群
作者：寸_铁 | 2024-07-01 13:37:28
赞
踩
④大数据高可靠集群
大数据集群搭建—《高可用hadoop篇》 --菜鸟小回
汇总篇：
大数据集群搭建（zookeeper、高可用hadoop、高可用hbase）
接上篇：
大数据集群搭建—《zookeeper篇》
三、hadoop集群搭建（先配zhiyou001复制给其他，配置前确保zookeeper配置完成）
- 创建：
mkdir /opt/hadoop - 进入：
cd /opt/hadoop - 上传：
- 解压：
tar -zxvf tar -zxvf hadoop-2.7.3 - 配置hadoop环境变量
vi /etc/profile
//添加
#配置hadoop
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
- 1
- 2
- 3
- 4
- 5
- 刷新配置文件并测试
source /etc/profile
hadoop
- 1
- 2
- 修改core-site.xml
cd /opt/hadoop/hadoop-2.7.3/etc/hadoop/ vi core-site.xml //在<configuration>中添加如下内容 <!-- 指定hdfs的nameservice为ns --> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> <!--指定hadoop数据存放目录--> <property> <name>hadoop.tmp.dir</name> <value>/zhiyou/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!--指定zookeeper地址--> <property> <name>ha.zookeeper.quorum</name> <value>zhiyou001:2181,zhiyou002:2181,zhiyou003:2181</value> </property> <property> <name>ipc.client.connect.max.retries</name> <value>100</value> <description>Indicates the number of retries a client will make to establish a server connection. </description> </property> <property> <name>ipc.client.connect.retry.interval</name> <value>10000</value> <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection. </description> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- hdfs-site.xml
vi hdfs-site.xml //同样在<configuration>中添加如下内容 <!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>ns</value> </property> <!-- ns下面有两个NameNode，分别是nn1，nn2 --> <property> <name>dfs.ha.namenodes.ns</name> <value>nn1,nn2</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns.nn1</name> <value>zhiyou001:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.ns.nn1</name> <value>zhiyou001:50070</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns.nn2</name> <value>zhiyou002:9000</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.ns.nn2</name> <value>zhiyou002:50070</value> </property> <!-- 指定NameNode的元数据在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://zhiyou001:8485;zhiyou002:8485;zhiyou003:8485/ns</value> </property> <!-- 指定JournalNode在本地磁盘存放数据的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/zhiyou/hadoop/journal</value> </property> <!-- 开启NameNode故障时自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失败自动切换实现方式 --> <property> <name>dfs.client.failover.proxy.provider.ns</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <!-- 使用隔离机制时需要ssh免登陆 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///zhiyou/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///zhiyou/hadoop/hdfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 --> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
//添加configuration
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- yarn-site.xml
vi yarn-site.xml
//添加configuration
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zhiyou003</value>
</property>
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- hadoop-env.sh
//找到文件的export JAVA_HOME=${JAVA_HOME} 一行修改
export JAVA_HOME=/opt/java/jdk1.8.0_141
- 1
- 2
- slaves
//修改localhost为
zhiyou001
zhiyou002
zhiyou003
- 1
- 2
- 3
- 4
- 复制内容到zhiyou002,zhiyou003里面
//1. hadoop
scp -r /opt/hadoop/ root@zhiyou002:/opt/hadoop/
scp -r /opt/hadoop/ root@zhiyou003:/opt/hadoop/
//2. /etc/profile
scp -r /etc/profile root@zhiyou002:/etc/profile
scp -r /etc/profile root@zhiyou003:/etc/profile
- 1
- 2
- 3
- 4
- 5
- 6
- 三台启动zookeeper
cd /opt/zookeeper/zookeeper-3.4.12/bin/
./zkServer.sh start
- 1
- 2
- 三台启动journalnode集群
cd /opt/hadoop/hadoop-2.7.3/sbin/
./hadoop-daemon.sh start journalnode
- 1
- 2
- 在zhiyou001上格式化zkfc：
hdfs zkfc -formatZK - 在zhiyou001上格式化hdfs：
hadoop namenode -format - 在zhiyou001上启动namenode：
./hadoop-daemon.sh start namenode
- 在zhiyou002上启动数据同步和standby的namenode
hdfs namenode -bootstrapStandby
./hadoop-daemon.sh start namenode
- 1
- 2
- 在zhiyou01 上启动datanode：
./hadoop-daemons.sh start datanode - 在zhiyou03上启动yarn：
./start-yarn.sh - 在zhiyou01上启动zkfc：
./hadoop-daemons.sh start zkfc - 查看所有进程启动情况
zhiyou001（7个）
zhiyou002（7个）
zhiyou003（6个）
- 此时浏览器访问hadoop可以访问到（本机配需要配C:\Windows\System32\drivers\etc\hosts与虚拟机相同）
192.168.80.128 zhiyou001
192.168.80.129 zhiyou002
192.168.80.130 zhiyou003
访问：
zhiyou001:50070
zhiyou002:50070
- 1
- 2
- 3
- 4
- 5
- 6
- 高可用测试：
//zhiyou001和zhiyou002都先安装fuser
yum -y install psmisc
//关闭hadoop
cd /opt/hadoop/hadoop-2.7.3/sbin/
./stop-all.sh
//重新开启
./start-all.sh
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 浏览器测试
a. 查看状态
zhiyou001:50070（active）
zhiyou002:50070（standby）
- 1
- 2
b. 关掉active（zhiyou001）的namenode节点
kill -9 “namenode节点”
c. 再次访问;发现该节点自己动升级为（active）
zhiyou002:50070
- 上传文件测试
- 上传文件只能通过active节点上传查看。当active节点挂掉时，standby节点升级为active节点。同样可以查看到原来上传的文件。
可能问题：
- 博主在配置过程中出现datanode节点无法启动的错误，
最后查看日志文件发现是生成name文件和data文件中的id不一致。应该是格式化时出现的问题。最为简单粗暴的解决办法：删除后两台主机的hadoop文件以及三台主机格式化生成的根目录zhiyou文件夹。重新复制hadoop文件夹到后两台主机。问题解决!也可以百度datanode启动不了按照教程配置生成name和data文件。
接下篇：
大数据集群搭建—《高可用Habse篇》
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/776578
推荐阅读
相关标签
