当前位置:   article > 正文

Hadoop MapReduce 代码案例与解读_hadoop的mapreduce配置文件代码

hadoop的mapreduce配置文件代码

1. Map 和 Reduce 的具体原理就不描述了,这里简单用一个代码的例子做个介绍(Map Reduce的流程)

  1. import java.io.IOException;
  2. import java.util.StringTokenizer;
  3. import org.apache.hadoop.conf.Configuration;
  4. import org.apache.hadoop.fs.Path;
  5. import org.apache.hadoop.io.IntWritable;
  6. import org.apache.hadoop.io.Text;
  7. import org.apache.hadoop.mapreduce.Job;
  8. import org.apache.hadoop.mapreduce.Mapper;
  9. import org.apache.hadoop.mapreduce.Reducer;
  10. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  11. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  12. public class WordCount {
  13. public static class TokenizerMapper
  14. extends Mapper<Object, Text, Text, IntWritable>{
  15. private final static IntWritable one = new IntWritable(1);
  16. // 这里的IntWritable(1)相当于是对“1”的一种统计方式,当作1就可以
  17. private Text word = new Text();
  18. // Text可以看作是String的子类,看作和String大致相同就可以
  19. public void map(O
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/824821
推荐阅读
相关标签
  

闽ICP备14008679号