python操作hdfs_使用python对hdfs进行操作

作者：盐析白兔 | 2024-06-13 09:17:33

踩

from hdfs import client

Python对hdfs进行操作需要用到hdfs库，安装方法如下：

pip install --user hdfs

使用python操作hadoop代码如下：

# -*- coding: utf-8 -*-

# @Time : 2020/3/7 18:43

# @Author : focksor

# @Email : focksor@outlook.com

import os

from hdfs import Client

if __name__ == '__main__':

hdfs_ip = "192.168.232.150"

hdfs_version = 3

hdfs_root = "/test"

filepath = r"C:\Users\focks\OneDrive\DevEm\VMware\iso\ubuntu-18.04.1-desktop-amd64.iso"

hdfs_addr = "http://" + hdfs_ip + ":" + str(9870 if (hdfs_version == 3) else 90070)

client = Client(hdfs_addr)

print("创建文件夹")

client.makedirs(hdfs_root)

print(client.list("/"))

print("上传文件")

client.upload(hdfs_root, filepath)

print(client.list(hdfs_root))

print("修改文件名")

client.rename(hdfs_root + "/ubuntu-18.04.1-desktop-amd64.iso", hdfs_root + "/ubuntu.iso")

print(client.list(hdfs_root))

print("下载文件")

client.download(hdfs_root + "/ubuntu.iso", ".")

print(os.listdir("."))

print("删除文件")

client.delete(hdfs_root+"/ubuntu.iso")

print(client.list(hdfs_root))

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/711745?site