搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
码创造者
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
STM32 学习记录一:初识STM32_普中的stm32和正点的区别
2
软件-vscode-plantUML-IDEA
3
国产版Sora复现——智谱AI开源CogVideoX-2b 本地部署复现实践教程_cogvideo 部署
4
Qwen2 -微调 Qwen2_qwen2 微调
5
HBase与Hive:数据仓库和OLAP
6
数据结构循环顺序队列的入队出队代码实现7.22(分文件 c语言)_循环顺序队列函数实现指定入队元素个数
7
jpa mysql_Spring boot通过JPA访问MySQL数据库
8
Element-ui container常见布局_body > .el-container
9
sqlserver 数据误删除恢复_sqlserver数据库删了怎么恢复
10
文本搜索系统的评估_搜索评估是做什么
当前位置:
article
> 正文
Hadoop在Windows环境下的部署_windows上部署hadoop(多机版)
作者:码创造者 | 2024-08-08 21:33:12
赞
踩
windows上部署hadoop(多机版)
经过一整天的折腾,参考了网上很多资料,我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。
注意:本文的配置环境是:
CygWin最新版本2.769
下载地址
Window7-64bit
JDK1.6.0_31-win64 (JRE6)
下载地址
Eclipse-Indigo..
Hadoop 0.20.2 (
注意:0.20.203版本不可用,会导致tasktracker无法启动
)
下载地址
-----------------------------------------华丽分割------------------------------------
环境安装&配置:
1.JDK,我的安装目录:C/Java,安装后视图
安装好了JDK,然后配置JAVA_HOME环境变量:
然后,把JDK下面的BIN目录追加到环境变量PATH后面。
2.CygWin,安装过程中记得选择所需的包,这里需要的是:
Net Category下的:openssh,openssl
Base
Category下的:sed (若需要Eclipse,必须sed)
Devel Category下的:subversion(建议安装)。具体请参考下面的图示:
安装完成后,把CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。
3.Hadoop
把下载的hadoop-0.20.2.tar.gz解压到指定目录。我把解压后的Hadoop程序放到了Cygwin根目录下的hadoop文件夹中。具体如下图示:
(不要使用0.20.203版本的Hadoop!!!)
下面开始配置Hadoop。需要配置的文件:(hadoop/conf目录下)
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
第一个文件 hadoop-env.sh
把里面的JAVA_HOME改掉,注意export前面的#号要去掉。
而且必须要使用linux的路径表达方式。我的jdk路径是 C:\JAVA\jdk1.6.0_31,在CygWin中对应的路径为: /cygdrive/c/java/jdk1.6.0_31
第二个文件:core-site.xml
首先删除它,然后把hadoop/src/core目录下的core-default.xml文件复制到conf目录下,并命名为core-site.xml。然后修改其中的fs.default.name变量,如下所示。
(确保端口号(我的是9100)未被占用)
第三个文件:hdfs-site.xml
首先把它删除,然后复制src/hdfs目录下的hdfs-default.xml到conf目录下,并改名为hdfs-site.xml
然后修改dfs.replication变量,如下图示:
该变量意思是文件系统中文件的复本数量。在单独的一个数据节点上运行时,HDFS无法将块复制到三个数据节点上。
第四个文件:mapred-site.xml
首先删除它,然后复制src/mapred目录下的mapred-default.xml到conf目录下,并改名为mapred-site.xml,然后修改其mapred.job.tracker变量:
(同样确保端口号未被占用)
----------------------------------华丽分割-------------------------------------
配置SSH服务
(首先确认安装了OpenSSH,OpenSSL两个包)
1.打开CygWin输入SSH-HOST-CONFIG
2.系统提示:should privilege separation be used ? 回答:no
3.系统提示:if sshd should be installed as service?回答:yes
4.系统提示:the value of CYGWIN environment variable 输入: ntsec
5.成功
下面是图示(我自己当时没记录,所以参考的是网络上的图片)
下一步,进入Window系统的服务菜单,打开Cygwin的SSHD服务:如下图所示:
下面继续回到CygWin环境:执行如下命令:
1.
ssh-keygen
然后一直回车
2.
cd ~/.ssh
3. cp id_rsa_pub anthorized_keys
4.
exit 退出cygwin,若不退出,可能出错
再次登录时查看一下:
5
运行 ssh localhost 若有提示,则回车。
6
执行 ps 若看到 有/usr/bin/ssh 进程,说明成功
------------------------------------华丽分割----------------------------------
启动Hadoop
第0步:
为了避免jobtracker,info could only be replicated to 0 node,instead of 1错误,最好把 hadoop/conf目录下面的 masters和slaves文件全部改为127.0.0.1(原内容为:localhost)
第一步,在hadoop目录下创建目录logs,用于保存日志
第二步,格式化管理者,即namenode,创建HDFS
执行命令: bin/hadoop namenode -format,下面示代表成功
此时,执行ps,应该能看到ssh进程,且看不到java虚拟机进程。
第三步,启动Hadoop,执行命令: bin/start-all.sh
然后执行jps命令,你可能会看到如下图:
会发现Datanode ,Secondarynamenode以及TaskTracker都没有启动。网上有人说是JPS的问题,具体不是很清楚,但本文后面的文件系统可以使用。Datanode可以保存数据,继续看吧。
不过此时执行PS命令,能看到5个JVM进程。
不知道这算不算成功,但我的Logs日志文件夹里面没有报错。
------------------------------华丽分割---------------------------------------
文件系统操作
为了验证HDFS能够正常工作我们可以进行文件的上传操作。
执行命令:
bin/hadoop fs -mkdir In
bin/hadoop fs -put *.txt In
以上命令会在HDFS中建立In文件夹,然后把本地Hadoop目录下的所有文本文件上传到HDFS中,Hadoop目录下共用四个txt文件:
OK,上传的太少,不爽,再上传一部电影。比如,我要把一个视频文件movie.mpg上传到HDFS中,首先,在Hadoop根目录下建立文件夹local,然后把movie.mpg拷贝到其中
下面执行命令:
然后,查看文件系统是否有上述文件:
可以看到Movie.mpg在HDFS中。
同样在Eclipse中也能看到哇:
OK,突然不能贴图了,我再接着写一篇吧。介绍一下常见的错误处理。
声明:
本文内容由网友自发贡献,转载请注明出处:
【wpsshop】
推荐阅读
article
kafka
(
二)
安装
部署
(
2)
windows
_
kafka
windows
...
(
1)进入config目录 ,复制zoo_sample.cfg文件,改名为zoo.cfg,更改。
安装
Kafka之前,需要...
赞
踩
article
Git
2
.45.
2
下载
安装
记录(
windows
11)_git
2
.45.
2
安装
教程...
Git是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。本文只是介绍Git的
安装
,不涉及...
赞
踩
article
GPT
-
SoVITS
声音克隆训练和推理(新手教程,附整合包)_
gpt
-
sovits
windows
...
Win10 专业版整合包。_
gpt
-
sovits
windows
系统
安装包
gpt
-
sovits
windows
系统安...
赞
踩
article
“
微软
公布
Windows
发布
日期
,
用户
对没有
Android
感到失望“...
例如
,
用户
可以使用安卓模拟器软件
,
如 BlueStacks 或 NoxPlayer
,
来模拟
Android
环境
,
并在 ...
赞
踩
article
【
历史
上的
今天
】10 月 17 日:微软发布
Windows
8.1
;
IMDb
成立;海盗湾
创始人
诞...
透过「
历史
上的
今天
」,从过去看未来,从现在亦可以改变未来。_
rec
.
arts
.
movies
rec
.
arts
.
movies
...
赞
踩
article
【
历史
上的
m>今天
m>】11 月 20 日:微软发布
m>Windows
m>
m>1.0
m>;
m>Lotus
m>
m>Notes
m> 发明者...
透过「
历史
上的
m>今天
m>」,从过去看未来,从现在亦可以改变未来。_
m>tho
m
as
m>
m
.
m>siebel
m>
m>tho
m
as
m>
m
. sieb...
赞
踩
article
微软
Windows
11
正式
发布
!不仅完美运行
Android
应用
,还迎来超多重磅功能_win...
微软
这几天过得太刺激了。先是
Windows
11
预览版镜像惨遭泄漏。而后
微软
市值冲破 2 万亿美元,成为继苹果之后,...
赞
踩
article
Windows
11
操作系统
微软正式宣布推出_
windows
11
推出...
本文来自:N软网,原文被称为 "
Windows
太阳谷"的下一代
Windows
终于正式发布了。今天,微软透露其下一个主要操...
赞
踩
article
重回
微软
时代——
Windows
10
正式
发布
...
Windows
10
来了!没错,不是
Windows
9,也不是
Windows
8.2,而是
Windows
10
。北京时间...
赞
踩
article
微软
历史上的12个
Windows
操作系统
版本排名_
microsoft
windows
xp sp3是...
这是
微软
真正最糟糕的
Windows
操作系统
,尽管该版本有崇高的目标,但它几乎所有的目标都失败了。它最终只持续了一年,...
赞
踩
article
Windows
XP
SP3
无需密匙即可完成
安装
_原版
xp
系统
安装
跳过输入密钥...
而
Windows
XP
SP3
则顺应
Windows
Server 2003 Service Pack 2和
Windows
...
赞
踩
article
Windows
10
原版ISO
下载
地址
(持续
更新
)...
Windows
10
本质上,它们与 Win7、XP 时代的 SP1、SP2、SP3 这样的大型
更新
版是一样的,只不过微软...
赞
踩
article
Hadoop
大
数据
学习笔记_
hadoop
大
数据
开发技术
学习笔记...
Hadoop
大
数据
学习笔记1大
数据
部门组织架构
Hadoop
Hadoop
是什么
Hadoop
的优势
Hadoop
的组成HDF...
赞
踩
article
hadoop
--
hadoop
集群
常用
脚本
_
hadoop
集群
脚本
...
各个模块分开启动/停止(前提配置ssh)常用2.各个服务组建注意启动/停止。_
hadoop
集群
脚本
hadoop
集群
脚本
...
赞
踩
article
Hadoop
---集群的
时间
同步
...
集群的
时间
同步
(使用插件使从机和主机
时间
一致) 集群保障
时间
一致 共有3个方法 1.手工的改 da...
赞
踩
article
Hadoop
|
集群
配置
(四)
启动
测试完全
分布式
集群
| 编写 Shell 脚本一键
启动
集群
| ...
参考资料视频资料运行环境windows10CentOS 7 虚拟机JDK8
Hadoop
3.1.33个
集群
节点一、
集群
的不...
赞
踩
article
Hadoop
集群
时间
同步
设置_
hadoop
集群
时间
同步
...
设置服务器集群的
时间
同步
,一台机器同
时间
服务器对时,其他机器与这台服务器对时,就是发生断网等情况,也可以保证内部所有服务...
赞
踩
article
【
Hadoop
】
HA
高可用
搭建
保姆级教程(大二学长的万字笔记)
_
ha
doop
的高可用
搭建
_
ha
doo...
过华为、OPPO等大厂,18年进入阿里一直到现在。**
_
ha
doop
ha
模式
安装
ha
doop
ha
模式
安装
...
赞
踩
article
集群
配置
hadoop
-
3
.1
.
3
版本_
hadoop
3
.1
.
3
...
如果
集群
是第一次启动,需要在
hadoop
102节点格式化NameNode(注意:格式化NameNode,会产生新的
集群
i...
赞
踩
article
云
监控
系统
HertzBeat
v1.1
.0 发布,一条命令开启
监控
之旅!_
hertzbeat
fo...
官网:
hertzbeat
.com | tancloud.cn 大家早上好,
HertzBeat
v1.1
.0 发布啦!这...
赞
踩
相关标签
kafka
分布式
java
windows
个人开发
git
gpt
人工智能
GPT-SoVITS
声音克隆
microsoft
android
Windows
历史上的今天
网络
算法
开源
软件工程
大数据
windows11
发布
更新
新闻
资讯
windows 10