Hadoop生态系统图_hadoop3架构图

当下 Hadoop 已经成长为一个庞大的生态体系，只要和海量数据相关的领域，都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱，详细列举了在 Hadoop 这个生态系统中出现的各种数据工具。

这一切，都起源自 Web 数据爆炸时代的来临。Hadoop 生态系统的功能以及对应的开源工具说明如下。

MapReduce

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Hgnrc637-1660641022681)(http://hadoop.dajiangtai.com/content/201/2.png)]

HDFS

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K18S4Lb8-1660641022682)(http://hadoop.dajiangtai.com/content/201/3.png)]

Pig和Hive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nduw88fK-1660641022682)(http://hadoop.dajiangtai.com/content/201/4.png)]、

Pig：是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

Hive：在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。

。