大数据技术原理与应用第三版林子雨期末复习（三）MapReduce_候朱研工的开行计算过程高度抽象成两个函数——map和reduce,

作者：秋刀鱼在做梦 | 2024-07-26 05:05:47

踩

候朱研工的开行计算过程高度抽象成两个函数——map和reduce,

MapReduce是一种分布式并行编程模型，常用于处理大规模数据集。其将运行于分布式集群上的复杂的并行计算过程高度抽象为两个函数Map与Reduce，这两个函数思想都源自函数式编程思想。

函数	输入	输出	说明
Map	<k1,v1>	List(<k2,v2>)	将一批小数据集拆分为<k,v>形式，每一个输入的<k,v>均会输出一批<k,v>。
Reduce	<k2,List(v2)>	<k3,v3>	<k2,List(v2)>表示属于同一个键的不同值

Map端作用是将Map的输入写入缓存中，当缓存溢出时进行溢写操作，把缓存中的数据迁至磁盘中，并清空缓存

Reduce端的作用是从Map端的不同Map机器获取属于自己部分的输出，对输出进行归并处理，最终交给Reduce端进行处理。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】

大数据技术原理与应用 第三版 林子雨 期末复习（三）MapReduce_候朱研工的开行计算过程高度抽象成两个函数——map和reduce,