当前位置:   article > 正文

调用MapReduce对文件各个单词出现的次数进行统计_.编写mapreduce程序实现统计文本文件中每个单词出现的次数‘’

.编写mapreduce程序实现统计文本文件中每个单词出现的次数‘’

我们需要实现的是调用MapReduce对文件中各个单词出现的次数进行统计。要求在Linux系统中实现上述操作。首先要安装Ubuntu系统,然后要配置Java环境,安装JDK。Ubuntu提供了一个健壮,功能丰富的计算环境。

实验配置

环境: Hadoop 软件: Eclipse、Ubuntu 系统:  window11

内容要求

1.将待分析的文件(不少于10000英文单词)上传到HDFS。

2.调用MapReduce对文件中各个单词出现的次数进行统计。

3.将统计结果下载本地。

实验步骤:

1.我们开始进入应用市场安装eclipse并打开eclipse

2.在eclipse中创建项目并添加需要用到的JAR包,第一次打开需要填写wordspace,保持默认即可。

3.安装Hadoop-Eclipse-Plugin

#要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可下载 Github 上的 hadoop2x-eclipse-plugin

4. 配置 Hadoop-Eclipse-Plugin

在继续配置前请确保已经开启了 Hadoop。

一、启动 Eclipse 后就可以在左侧的Project Explorer中看到 DFS Locations(若看到的是 welcome 界面,点击左上角的 x 关闭就可以看到了。CentOS 需要切换 Perspective 后才能看到,即接下来配置步骤的第二步)。

 二、插件需要进一步的配置。

第一步:选择 Window 菜单下的 Preference。

此时会弹出一个窗体,窗体的左侧会多出 Hadoop Map/Reduce 选项,点击此选项,选择 Hadoop 的安装目录

<
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/337621
推荐阅读
相关标签
  

闽ICP备14008679号