Hadoop 大数据学习笔记_hadoop大数据开发技术学习笔记

作者：代码探险家 | 2024-08-05 10:10:33

踩

hadoop大数据开发技术学习笔记

大数据部门组织架构

在这里插入图片描述

Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上来说，Hadoop通常是指一个广泛的概念———Hadoop生态圈。

1）高可靠性。
2）高扩展性。
3）高效性。
4）高容错性。

MapReduce(计算)
Yarn(资源调度)
HDFS(数据存储)

1）NameNode(nn)：存储文件的元数据，数据索引。
2）DataNode(dn)：数据本身。
3）Secondary NameNode(2nn)：用于监控HDFS状态的辅助后台程序，获取HDFS元数据的快照。

在这里插入图片描述

1）Map阶段并行处理输入数据。
2）Reduce阶段对Map结果进行汇总。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/931946