python读取hdfs并返回dataframe教程

 更新时间:2020年06月05日 14:55:43   作者:王发北  
这篇文章主要介绍了python读取hdfs并返回dataframe教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

不多说,直接上代码

from hdfs import Client
import pandas as pd
 
HDFSHOST = "http://xxx:50070"
FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径
COLUMNNAMES = [xx']
 
def readHDFS():
'''
读取hdfs文件
 
Returns:
df:dataframe hdfs数据
'''
client = Client(HDFSHOST)
# 目前读取hdfs文件采用方式:
# 1. 先从hdfs读取二进制数据流文件
# 2. 将二进制文件另存为.csv
# 3. 使用pandas读取csv文件
with client.read(FILENAME) as fs:
content = fs.read()
s = str(content, 'utf-8')
file = open("data/tmp/data.csv", "w")
file.write(s)
df = pd.read_csv("data/tmp/data.csv", names=COLUMNNAMES)
return df

补充知识:Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV

1. 目标

通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上

爬虫和机器学习在Python中容易实现

在Linux环境下编写Python没有pyCharm便利

需要建立Python与HDFS的读写通道

2. 实现

安装Python模块pyhdfs

版本:Python3.6, hadoop 2.9

读文件代码如下

from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070')#hdfs地址
res=client.open('/sy.txt')#hdfs文件路径,根目录/
for r in res:
  line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码
  print(line)

写文件代码如下

from pyhdfs import HdfsClient
client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
str='hello world'
client.create('/py.txt',str)#创建新文件并写入字符串

上传本地文件到HDFS

from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

3. 读取文本文件写入csv

Python安装pandas模块

确认文本文件的分隔符

# pyhdfs读取文本文件,分隔符为逗号,
from pyhdfs import HdfsClient
client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
inputfile=client.open('/int.txt')
# pandas调用读取方法read_table
import pandas as pd
df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符
# 数据集to_csv方法转换为csv
df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引

以上这篇python读取hdfs并返回dataframe教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python装饰器原理与用法分析

    Python装饰器原理与用法分析

    这篇文章主要介绍了Python装饰器原理与用法,结合实例形式分析了Python装饰器的概念、原理、使用方法及相关操作注意事项,需要的朋友可以参考下
    2018-04-04
  • 解决tf.keras.models.load_model加载模型报错问题

    解决tf.keras.models.load_model加载模型报错问题

    这篇文章主要介绍了解决tf.keras.models.load_model加载模型报错问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • Pandas的Apply函数具体使用

    Pandas的Apply函数具体使用

    这篇文章主要介绍了Pandas的Apply函数具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Python中的pprint打印模块

    Python中的pprint打印模块

    这篇文章主要介绍了Python中的pprint打印模块,​​pprint()​​采用分行打印输出,下文关于其相关介绍,需要的小伙伴可以参考一下
    2022-05-05
  • pytorch  RNN参数详解(最新)

    pytorch  RNN参数详解(最新)

    这篇文章主要介绍了pytorch  RNN参数详解,这个示例代码展示了如何使用 PyTorch 定义和训练一个 LSTM 模型,并详细解释了每个类和方法的参数及其作用,需要的朋友可以参考下
    2024-06-06
  • python opencv实现信用卡的数字识别

    python opencv实现信用卡的数字识别

    这篇文章主要介绍了python opencv实现信用卡的数字识别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • 使用Pandas修改DataFrame中某一列的值

    使用Pandas修改DataFrame中某一列的值

    DataFrame是Pandas中的主要数据结构之一,下面这篇文章主要给大家介绍了关于使用Pandas修改DataFrame中某一列的值的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2022-12-12
  • 使用pyQT5显示网页的实现步骤

    使用pyQT5显示网页的实现步骤

    本文主要介绍了使用pyQT5显示网页的实现步骤,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-10-10
  • 利用python获取某年中每个月的第一天和最后一天

    利用python获取某年中每个月的第一天和最后一天

    最近在做项目的时候,突然想到的这个问题,觉得比较有趣,就实际测试了一下,考虑到以后可能会有用,就总结下来写了这篇文章,刚兴趣的朋友们可以参考学习下,下面来跟着小编一起看看吧。
    2016-12-12
  • 离线状态下在jupyter notebook中使用plotly实例

    离线状态下在jupyter notebook中使用plotly实例

    这篇文章主要介绍了离线状态下在jupyter notebook中使用plotly实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04

最新评论