搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
笔触狂放9
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Java操作Elasticsearch进行数据检索_java实现elasticsearch搜索mysql数据
2
Spring Boot整合RabbitMQ_spring-amqb 和rabbitmq各版本匹配关系
3
NLG模块实现(未完成)_nlg 实现
4
IIS安全配置参考_检查是否采用 iis 日志格式
5
Flutter 3.24 更新详解
6
前端vue-改造el-table,表头,表格(边框,背景色)_vue边框颜色
7
CDR2024最新免费序列号keygen注册机网盘下载_cdr注册机网盘
8
gitlab+jenkins 搭建部署_gitlab jenkins
9
在Mac上安装Linux系统_macmini安装linux系统
10
【全开源】智能名片系统源码(Fastadmin+ThinkPHP和Uniapp)_智能名片源码
当前位置:
article
> 正文
hadoop大数据平台手动搭建(一)-ssh,ntp_hdsg.nnet
作者:笔触狂放9 | 2024-08-15 08:36:41
赞
踩
hdsg.nnet
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。既然是一个框架,围绕hadoop的周边产品非常的多。对于各中版本与hadoop是否兼容等,增加的安装复杂度。所以我选择CDH。由于cloudera开发了一个manager工具。用于集群自动化安装,部署,监控。我手动安装主要是熟悉环境,解决错误。理解原理。
1.下载VMware12.5.2 build-4638234 当然其他虚拟机软件也可以,比如oracle VM virtualBox
2.下载CentOS-6.7-x86_64-bin-DVD1.iso,CentOS-6.7-x86_64-bin-DVD2.iso
3.安装centos
由于是搭建完全分布式集群,安装了3台机器。分别是master,slave1,slave2.
提醒的是安装centos时磁盘容量和内存尽量设置大些,根据主机情况。不然后面运行程序和软件可能报磁盘空间不够或内存耗尽。
4.虚拟机共享网络配置设置。
点NAT设置
点DHCP设置
如果主机不能访问虚拟机器。看vmnet8是否被禁用。
5.为统一开发环境修改主机名和添加hadoop用户。
再三台机器上分别执行:
a. useradd -g hadoop hadoop
以后所有与hadoop相关软件周边产品都用hadoop用户身份安装与执行。
b.主机名修改
[hadoop@master sbin]$ vi /etc/sysconfig/network
其他节点分别修改为:
HOSTNAME=slave1
HOSTNAME=slave2
c.为了让三节点间可以通过主机名访问:
[hadoop@master sbin]$ vi /etc/hosts
三节点都修改为如下。主机名与IP要对应。
d.由于hadoop集群在启动时需要通过固定IP或主机名启动。所以我们配置为静态IP.
DEVICE="eth0"
BOOTPROTO=static
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
#TYPE="Ethernet"
UUID="9fe038db-11b1-4b33-9b80-323d0394e286"
NETMASK=255.255.255.0
TYPE=Ethernet
DEFROUTE=yes
IPV5_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
IPADDR=192.168.145.128
PREFIX=24
#Vmware为虚拟网络编辑器中的网关地址
GATEWAY=192.168.145.2
#台式机器本地连接DNS
DNS1=192.168.0.1
DOMAIN=8.8.8.8
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
LAST_CONNECT=1488293881
6.配置ssh无密码连接。因hadoop通过ssh启动从节点等
如果没配置,每次启动hadoop集群都要求输入对应节点的密码。如果很多节点无疑不可取。
默认一般都已经安装。
[root@master sbin]$ rpm -qa|grep openssh
openssh-server-5.3p1-111.el6.x86_64
openssh-askpass-5.3p1-111.el6.x86_64
openssh-5.3p1-111.el6.x86_64
openssh-clients-5.3p1-111.el6.x86_64
a.首先关闭防火墙。
service iptables stop (临时关闭)
chkconfig iptables off(永久关闭)
b.[hadoop@master ~]# ssh-keygen -t rsa -P ''
-P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。
它在/home/hadoop下生成.ssh目录,.ssh下有id_rsa和id_rsa.pub。
[hadoop@master ~]$ scp .ssh/id_rsa.pub hadoop@slave1:/home/hadoop/id_rsa.pub
master机把id_rsa.pub复制到salve1.ssh
在salve1上执行:
[hadoop@slave1 ~]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@slave1 ~]$ chmod 644 .ssh/authorized_keys
[hadoop@slave1 ~]$ chmod 700.ssh/authorized_keys
在master上执行:不再需要输入密码。如果不成功。请确认salve1中.ssh ,authorized_keys权限是否对。
[hadoop@master ~]$ ssh slave1
Last login: Wed Mar 1 08:05:08 2017 from master
[hadoop@slave1 ~]$ exit
logout
Connection to slave1 closed.
[hadoop@master ~]$
master访问slave2或master,slave1,slave2三节点之间无密码登录,包括登录本机。用同样命令去实现。
7.ntp服务配置,因后续hbase集群时节点时间相差太多无法启动。所以要同步时间。
[hadoop@master ~]$ rpm -qa | grep ntp
ntp-4.2.6p5-5.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-5.el6.centos.x86_64
如果没安装执行yum install ntp安装。
master时间同步服务器IP在网上找的http://www.ntp.org.cn/
centos可图形界面配置:
slave1,slave2的ntp服务则写的master的ip.
大小: 44.4 KB
大小: 35.9 KB
大小: 74.3 KB
大小: 209.1 KB
大小: 28.7 KB
大小: 29.6 KB
大小: 38.5 KB
大小: 49.9 KB
查看图片附件
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/笔触狂放9/article/detail/982831
推荐阅读
article
Hadoop
之
HDFS
命令...
HDFS
(
Hadoop
Distributed File System)是
Hadoop
生态系统中的一个核心组件,它是一个...
赞
踩
article
二百四十
、
Hadoop
——
解决
Hadoop
未授权
访问
漏洞
_
hadoop
未授权
访问
漏洞
...
Hadoop
——
解决
Hadoop
未授权
访问
漏洞
_
hadoop
未授权
访问
漏洞
hadoop
未授权
访问
漏洞
...
赞
踩
article
hbase
导出数据为文本,csv,
html
等文件_
hbase
org.
apache
.
hadoop
.h...
需求:根据时间范围、区域等条件查询,将
hbase
中终端采集数据最大时间、最小时间的日志数据导出思路:1、通过
hbase
自...
赞
踩
article
hbase
系列-
hbase
导入导出_
hbase
org
.
apache
.
hadoop
.
hbase
.ma...
本文介绍了如何在HBase中进行数据操作,包括创建表、插入数据、查看数据、导出数据到HDFS以及从HDFS导入数据。通过...
赞
踩
article
HBase
备份之
ExportSnapshot
或
CopyTable
_
hbase
org.
apache
....
文章《
HBase
备份之导入导出》介绍了使用
HBase
的自带工具Export和Import来实现在主集群和从集群之间拷贝表...
赞
踩
article
hadoop
slaves
文件
_
Hadoop
完全分布式搭建步骤...
1.基础环境搭建配置网络:首先设置每台电脑的静态ip地址,然后设置好每台主机的主机名,在每台机器上都添加上所有主机的别名...
赞
踩
article
解决
HADOOP
_
HOME
and
hadoop
.
home
.
dir
are unset.异常问题_h...
我在Windows环境下 运行MapReduce程序时遇到这个异常,其原因是windows下的环境与Linux环境不同,...
赞
踩
article
Hbase
-
spring
-
boot
报错解决
java
.io.FileNotFoundException...
在
spring
-
boot
中封装使用hbase模版类进行测试的是运行出现这个问题。_
spring
boot
整合
hadoop
启...
赞
踩
article
关于IDEA出现报错:
java
.
io
.
FileNotFoundExcept
io
n
HADOOP
_H...
今天在跑wc的时候,代码仔细确认很多遍没有问题,但就是一直报错如下:Except
io
ninthread"
main
"jav...
赞
踩
article
Windows
本地
IDEA
运行
mapreduce
报错
java
.io.FileNotFoundExce...
先确保Hadoop是否安装:Apache Hadoop官网下载地址注意对应版本号配置环境变量
HADOOP
_
HOME
后cm...
赞
踩
article
Hadoop
:
HADOOP
_
HOME
and
hadoop
.
home
.dir are unset_h...
Hadoop
环境启动报错:util.Shell: Did not find winutils.exe: {}java.i...
赞
踩
article
java
.io.
FileNotFoundException
:
HADOOP
_
HOME
and had...
本文详细介绍了如何在Windows上解决调试Hadoop程序时遇到的问题。主要步骤包括下载和配置Hadoop环境,设置环...
赞
踩
article
Hadoop
本地运行MapReduce报错:
Caused
by:
java
.
io
.FileNotFo...
Hadoop
本地运行MapReduce报错:
Caused
by:
java
.
io
.FileNotFoundExcepti...
赞
踩
article
java
.io.FileNotFoundException:
HADOOP
_
HOME
and had...
java
.io.FileNotFoundException:
HADOOP
_
HOME
and
hadoop
.home.d...
赞
踩
article
Windows本地运行MapReduce报错
java
.lang.Exception: org.ap...
本文讲述了在本地开发Hadoop时遇到的
Shuffle
Error,源于core-site.xml中的
hadoop
.tmp...
赞
踩
article
Win11
上运行本地编写的
MapReduce
程序报错org.
apache
.
hadoop
.io.nat...
确保Hadoop_HOME环境变量正确配置;确保Path环境变量下有 %Hadoop_HOME%\bin确保%Hadoo...
赞
踩
article
Hadoop
Mapreduce
一些
常见问题
(
python
用户~~)
_
mapreduce
运行没输...
hadoop 使用及
常见问题
_
mapreduce
运行没
输出
mapreduce
运行没
输出
...
赞
踩
article
Hive 源码_对于filterholder(
java
.
lang
.
class
apache....
Hive_对于filterholder(
java
.
lang
.
class
)对于filterholder(
java
.
lang
...
赞
踩
article
Hadoop
:
全面
深入解析...
本文从定义、架构、原理、应用场景、常见命令、安装与配置、性能优化、安全性、未来发展和社区支持等多个方面对
Hadoop
进行...
赞
踩
article
Hadoop
:
hadoop
的
起缘和
发展
史_
hadoop
大数据部署实战起源与
发展
...
Hadoop
入门培训:
hadoop
的
起缘和
发展
史1.1 缘于搜索
的
小象追本溯源,
Hadoop
起源于Nutch,因此学习H...
赞
踩
相关标签
hadoop
hdfs
大数据
安全
hbase
hadoop slaves文件
hadoop配置文件
java
mapreduce
数据库
后端
intellij-idea
HADOOP_HOME and hadoop.home.dir are
Did not find winutils.exe