Hadoop的HDFS的学习笔记_hdfs yu1

作者：神奇cpp | 2024-06-30 10:35:18

踩

hdfs yu1

一丶HDFS的写数据流程

在这里插入图片描述
1，启动服务端的NN，DN进程，提供一个分布式文件系统client；
2，由客户端向NN发起请求，请求上传一个文件，NN对请求进行合法检查(权限，路径是否合法，路径是否存在)；
3，如果合法，NN响应客户端允许上传；
4，客户端根据自己设置的blk大小，切分blk，读取第一个blk的内容，请求NN分配DN的地址列表；
5，NN参考客户端上传的文件的副本数，根据机架感知，返回对应的DN列表(按照距离从近到远返回DN地址列表)；
6，客户端请求距离最近的DN节点，再由DN列表中每个DN节点都请求距离最近的DN节点，建立数据传输通道(PipeLine)；
7，通道建立完成，客户端第一个blk的数据，封装为一个一个的packet，发送到通道中的下一个节点；
通道中的每一个

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/神奇cpp/article/detail/772372