HDFS读写流程详解 —— 一图在手,天下我有~

一、HDFS写入文件流程

1.详解图

2.步骤详解

1.客户端发起上传文件的请求。
2.NameNode进行校验权限,判断该客户端是否具有写入权限,如果没有直接报错,如果有则判断该文件是否已经存在,如果已存在则报错.如果没有则校验成功,通知客户端上传文件.
3.客户端对文件进行切块(切片)
4.客户端重新请求NameNode,询问第一个块上传到哪里.
5.NameNode接收到客户端请求后,根据副本机制,负载均衡,机架感知原理,以及网络拓扑图,找到存储第一个block块的DataNode列表.
以下使用node1,node2,node3为例.
6.根据收到的DataNode列表,连接就近的服务器.
7.依次和DataNode列表中其他节点连接,形成:传输管道(pipeline)
8.采用数据报包(DatagramPacket) 的方式进行传输数据,并建立:ACK确认机制(反向应答机制)
9.传输过程:
传输管道: 客户端 -> node1 -> node2 -> node3
ACK确认机制: node3 -> node2 -> node1 -> 客户端
不断传输直至第一个block块传输完毕.
10.返回第4步,获取第二个block块的上传位置,重新往下执行,直至所有的block上传完毕,写入数据任务完成.

二、HDFS读取文件流程

1.详解图

2.步骤详解

1.客户端发起读取请求.
2.NameNode进行校验,判断该客户端是否有读取权限,如果没有直接报错,如果有则判断该文件是否存在,如过不存在则报错.校验成功后会根据机架感知原理 和 网络拓扑图,返回存储该文件block块的地址.
3.客户端根据NameNode返回的DataNode列表 并行 的从这些DataNode中读取对应的块信息.
4.如果之前读取的是部分块信息,则这些块读取完成后,会重新请求NameNode从而获取剩下全部或部分block地址,然后继续读取,直至所有数据块信息读取完毕.
5.按照block块的信息,对读取的这些数据块.