搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
我家自动化
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
dvwa靶场Brute Force(暴力破解)全难度教程(附代码分析)_brute force下载
2
计算机视觉与深度学习实战,Python为工具,基于Simulink进行图像和视频处理
3
软件测试培训一般多少钱?_软件测试培训班多少钱
4
【Git 小妙招】学习多人协作场景(万字图文讲解+实战练习)_git多人协作
5
JDK8中Lambda表达式用法及Stream流详解_jdk8 lamb
6
全球99家AI芯片公司,中国占15家!_全国ai芯片企业总数目
7
Flutter动态化 | Fair 2.6.0 新版本特性_flutter动态化开发之fair实战
8
Vmware下载安装教程_vmware虚拟机下载阿里云盘
9
【云原生|Docker系列第2篇】Docker的安装和配置_brew 安装docker
10
Llama3实操增强的三种方式:RAG/Agent/Function Calling!!!
当前位置:
article
> 正文
hdfs 读写数据流程_hdfs读取数据流程
作者:我家自动化 | 2024-06-21 01:45:27
赞
踩
hdfs读取数据流程
hdfs
读数据流程
具体流程:
客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查询元数据,找到文件块所在的 DataNode 地址
挑选一台 DataNode(就近原则,然后随机)服务器,请求读取数据
DataNode 开始传输数据给客户端(从磁盘里面读取数据输入流,以 Packet 为单位来做校验)
客户端以 Packet 为单位接收,先在本地缓存,然后写入目标文件
hdfs 写数据流程
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在,父目录是否存在
NameNode 返回是否可以上传
客户端请求第一个 Block 上传到哪几个 DataNode 服务器上
NameNode 返回 3 个 DataNode 节点,分别为 DataNode1、DataNode2、DataNode3
客户端通过 FSDataOutputStream 模块请求 dn1 上传数据,dn1 收到请求会继续调用dn2,然后 dn2 调用 dn3,将这个通信管道建立完成
DataNode1、DataNode2、DataNode3 逐级应答客户端
客户端开始往 DataNode1上传第一个 Block(先从磁盘读取数据放到一个本地内存缓存),以 Packet 为单位,DataNode1收到一个 Packet 就会传给 DataNode2,DataNode2 传给 DataNode3;DataNode1 每传一个 packet会放入一个应答队列等待应答。
当一个 Block 传输完成之后,客户端再次请求 NameNode 上传第二个 Block 的服务器。(重复执行 3-7 步)
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/我家自动化/article/detail/741549
推荐阅读
article
HDFS
Java
API 基本
操作
实验
_设计一个
实验
方案,通过
hdfs
的
api
操作
,实现
文件
上传、...
文章目录。_设计一个
实验
方案,通过
hdfs
的
api
操作
,实现
文件
上传、
文件
下载、
文件
夹删除、
文件
设计一个
实验
方案,通过h...
赞
踩
article
使用
Java
API
对
HDFS
进行如下
操作
:
文件
的创建、
上传
、下载以及删除等
操作
_第2关:
hdfs
...
熟悉
HDFS
的
Java
API
中的常用接口,能使用
Java
API
对
HDFS
进行如下
操作
:
文件
的创建、
上传
、下载以及删除...
赞
踩
article
实验二、熟悉常用的
HDFS
操作
(
HDFS
JavaAPI之
读取
/上传/删除
文件
)_
hdfs
-
java
...
一、实验目的理解
HDFS
在Hadoop体系结构中的角色熟练使用
HDFS
操作
常用的shell命令熟悉
HDFS
操作
常用的Ja...
赞
踩
article
HDFS
Java
API
编程
_
hdfs
java
api
编程
——
文件
读写...
1.相关方法(1)已经读取了指定的字符数, 底层流的read方法返回-1,指示
文件
末尾(),或者底层流的ready方法返...
赞
踩
article
彷徨 |
HDFS
客户端
API
编程
基本
java
操作 | 二_第2关:
hdfs
java
api
编程
—...
一 :
API
编程
查看
文件
内容先上传一
文件
到
HDFS
hadoop fs -put ./zhang /查看
文件
是否传上去h...
赞
踩
article
大数据从入门到实战 - 第
2
章
分布式
文件
系统
HDFS
_第
2
关
:
hdfs
-
java
接口之读取
文件
...
简介当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对它进行分区并存储到若干台单独的计算机上,管理网络中跨多...
赞
踩
article
HDFS
原理篇
_
头歌
hdfs
中心缓存管理...
HDFS
:为什么出现:一台机器不能存储下所有的数据是什么:分布式存储文件系统特点:高容错性(多备份) 批处理(移动计算...
赞
踩
article
HDFS
Java
API
上传
文件
_第3关:
hdfs
-
java
接口之
上传
文件
...
在
hdfs
目录下
上传
文件
(
上传
一个hadoop-2.7.7.tar.gz安装包)要求:(1)以
Java
API方式写代...
赞
踩
article
修炼离线:(三)
sqoop
插入
hbase
报错
权限
问题
_
sqoop
出现
hdfs
权限
问题
...
方法一:修改文件所有者。_
sqoop
出现
hdfs
权限
问题
sqoop
出现
hdfs
权限
问题
...
赞
踩
article
HBase
初探(
一
)
_
hbase
.
rootdir
与
hdfs
...
写在前面知识点开始动手坑们写在前面上
一
篇文章已经布置好了Hadoop环境,接下来的任务是在Hadoop的基础上搭建Hba...
赞
踩
article
【大数据】
Hive
小
文件
治理和
HDFS
数据平衡讲解_
hive
小
文件
处理
规则...
在
Hive
中,所谓的小
文件
是指
文件
大小远小于
HDFS
块大小的
文件
,通常小于128 MB,甚至更少。这些小
文件
可能是Hiv...
赞
踩
article
hdfs
datanode
节点间
balance
_
hdfs
指定
datanode
节点
balance
r...
hdfs
datanode
节点间
balance
_
hdfs
指定
datanode
节点
balance
r
hdfs
指定datano...
赞
踩
article
HDFS
Disk
Balancer
_
hdfs
diskbalancer...
概述
Disk
Balancer
是一个命令行工具,可在DataNode的所有磁盘上均匀分发数据。 此工具对给定的DataNo...
赞
踩
article
HDFS
Block负载平衡器:
Balancer
_
hdfs
balancer
...
HDFS
数据可能并不总是在DataNode之间均匀分布。一个常见的原因是向现有群集中添加了新的DataNode。
HDFS
...
赞
踩
article
Hive
函数
_nvl
函数
hdfs
...
1.
函数
1.1 系统内置
函数
查看系统内置
函数
show functions;查看某一自带
函数
的描述desc functi...
赞
踩
article
HDFS
组织
架构
_
hdfs
的组织
架构
...
随着数据量越来越多,一个系统存储不下所有的数据,那么就需要分配到多个操作系统的磁盘中进行存储,但是不方便管理和维护,迫切...
赞
踩
article
大
数据
入门系列 5:全网最全,
Hadoop
实验——熟悉常
用
的
HDFS
目录
操作
和文件
操作
_hdf...
年以
上
经验
的
小伙伴深入学习提升
的
进阶课程,基本涵盖了95%以
上
大
数据
开发知识点,真正体系化!**_
目录
操作
(1)
创建
用
户...
赞
踩
article
大数据入门系列 5:全网最全,
Hadoop
实验
——熟悉常用
的
HDFS
目录
操作
和
文件
操作
_向hd...
本篇文章是大数据基础系列
的
第五篇,完全针对
HDFS
文件
系统,目
的
即理解
HDFS
在
Hadoop
体系结构中
的
角色...
赞
踩
article
HDFS
完全分布式搭建过程_[
root
@
node01
.ss
h
]#
h
dfs
namenode
-f...
HDFS
完全分布式搭建过程实验前准备本部分为那些没有linux操作经验的人准备.若您的linux已经配置好并且正在使用....
赞
踩
article
HDFS 之
DataNode
核心知识点_
hdfs
datanode
hdfs
resync
...
(2)删除原来HDFS文件系统留存的文件( /opt/module/hadoop-2.7.2/data和 logs ),...
赞
踩
相关标签
hdfs
java
hadoop
大数据
API编程
存储
数据
分布式存储
文件系统
sqoop
hbase
hive