复习Hadoop之MapReduce

作者：Monodyee | 2024-06-11 05:54:47

踩

复习Hadoop之MapReduce

Mapreduce优缺点
- 优点：
  - 高容错：某一个计算任务在节点a上执行，这个时候如果节点a挂掉了，可以转移到节点b执行这个任务
  - 易于编程
  - 扩展性好：好多台机器
- 缺点
  - 实时计算❌
  - 流式计算❌（mapreduce输入的数据是静态的）
  - DAG（有向图计算）❌：每个mapreduce的结果都会落地到磁盘
执行过程(经典案例wordCountMapReduce的执行流程和编程规范以及简单的WordCount案例
1. map阶段（mapTask）
2. reduce阶段（reduceTask）
数据块：HDFS物理上把数据分成一块一块
数据切片：只是逻辑上对数据进行切片，并不会再磁盘上将其切分成片进行存储

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】