当前位置:   article > 正文

Hadoop 大数据学习笔记_hadoop大数据开发技术学习笔记

hadoop大数据开发技术学习笔记

大数据部门组织架构

在这里插入图片描述

Hadoop

Hadoop是什么

Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决,海量数据的存储和海量数据的分析计算问题。
广义上来说,Hadoop通常是指一个广泛的概念———Hadoop生态圈。

Hadoop的优势

1)高可靠性。
2)高扩展性。
3)高效性。
4)高容错性。

Hadoop的组成

MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)

HDFS架构

1)NameNode(nn):存储文件的元数据,数据索引。
2)DataNode(dn):数据本身。
3)Secondary NameNode(2nn):用于监控HDFS状态的辅助后台程序,获取HDFS元数据的快照。

YARN架构

在这里插入图片描述

MapReduce

1)Map阶段并行处理输入数据。
2)Reduce阶段对Map结果进行汇总。

大数据技术生态体系在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/代码探险家/article/detail/931946
推荐阅读
相关标签
  

闽ICP备14008679号