（大数据方向）分布式实验二：搭建完全分布式

  前言：

        这篇博客时基础的完全分布式搭建，并没有采用高可用搭建，下一篇会专门写采用简单的高可用搭建的步骤，如果有错，希望大家及时指正，谢谢各位啦

目录

分布式相关概念：

（1）什么是分布式文件系统：

（2）分布式文件系统的结构：

（3）主，从节点各自的职责：

 （4）大致物理结构图：

Hadoop 完全分布式搭建

搭建需知

第一步：拍摄快照并克隆虚拟机

 第二步：对这四台虚拟机进行网络配置

 第三步：同步时间并更改四台虚拟机的主机名

 第四步：设置免密钥登陆

 第五步：hadoop配置

（1）core-site.xml

（2）hdfs-site.xml

（3）slaves

 （4）传输文件

（5）格式化

（6）启动

 第六步：通过web查看

---

---

分布式相关概念：

（1）什么是分布式文件系统：

        分布式文件系统：通过网络实现文件在多台主机上进行分布式存储的文件系统

         1.分布式系统一定是由多个节点组成的系统。其中，节点指的是计算机服务器，而且这些节点一般不是孤立的，而是互通的。

        2.这些连通的节点上部署了我们的节点，并且相互的操作会有协同。   

（2）分布式文件系统的结构：

分布式文件系统在物理结构上是由计算机集群的多个节点构成的。

一般来说分为两类：1.主节点（Master Node）或者叫做“名称节点”（NameNode）

                                 2.从节点（Slave Node） 或者叫做“数据节点”（DataNode）

（3）主，从节点各自的职责：

主节点（名称节点）：①负责文件，目录的创建，删除，重命名等操作；

                                    ②管理数据节点和文件快的映射关系

导致--->客户端只有访问名称节点，才能找到请求的文件块所在的位置，

             进而到相应位置读取所需文件快。

从节点（数据节点）：①负责数据的存储和读取操作；

存储时：由名称节点分配存储位置——>由客户端把数据直接写入相应的数据节点

读取时：客户端从名称节点获得 数据节点和文件块的映射关系——>即可到相应位置访问文件块。

                                    ②根据名称节点的命令创建删除和复制数据块。

 （4）大致物理结构图：

Hadoop 完全分布式搭建

搭建需知

        此处的完全分布式搭建是基于博主上一篇博客（伪分布式搭建）的基础上进行的搭建，会省略克隆虚拟机后JDK下载，环境变量配置，hadoop-2.6.5的安装配置的相关步骤，详情请参考上篇博客：