数据分析师眼中的大数据和Hadoop_基于hadoop的数据分析

一、前言

大数据这个概念不用我提大家也听过很多了，前几年各种公开论坛、会议等场合言必及大数据，说出来显得很时髦似的。有意思的是最近拥有这个待遇的名词是“人工智能/AI”，当然这是后话。

众所周知，大数据的发展是来源于Google三驾马车，分别是：

• Google File System（GFS） —2003
• MapReduce —2004
• Bigtable —2006

不得不说，Google真的是一家牛逼的公司，开源了这些思想造福了全球的IT事业。不过有意思的是，这三篇论文一开始并不是大数据相关的，而是为了更好地服务谷歌自家的搜索业务。基于此，出现了传统的大数据框架三大组件：HDFS、MapReduce、Hbase，这就是Hadoop最开始的样子。

二、Hadoop简介

Hadoop是一个用Java编写的Apache开源框架，现在我们提到Hadoop可能有两种所指，一种是Hadoop几个基本模块，另一种是可以安装在Hadoop之上的附加软件包的集合，例如Hive、Impala、Oozie、Hue等等等等，也称之为Hadoop家族。所以说，Hadoop技术产品是十分丰富并且在一直不停地演化，有些技术可能几年后不流行了，又或者产生了新的技术。所以在大数据领域是需要不断地学习的，这也导致了大数据领域的工作一般待遇都很丰厚，因为要求真的还蛮高的，需要掌握的技术线比较长。
随便丢张图了解下（图随便找的，有些技术可能已经不流行了，有些目前流行的技术没有）：

Hadoop基本框架介绍

• Hadoop Common：这些是其他Hadoop模块