脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python hdfs上传下载

完美解决python针对hdfs上传和下载的问题

 更新时间：2020年06月05日 17:33:28   作者：huanbia  
这篇文章主要介绍了完美解决python针对hdfs上传和下载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中

修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示

vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01

补充知识：python上传文件到hadoop异常问题

使用库：pyhdfs

调用方法：

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图：

异常现象2如下图：

异常现象3如下图：

原因分析：可以看出，以上都是连接成功了，但是上传或者下载失败了，造成这种现象的原因是

我这里连接的是name节点，端口50070，当调用copy_from_local（）时，name节点会主动去连接data节点进行数据读写操作，而data节点端口50075没有开启，造成data节点连接超时，抛出异常

解决办法：开启data节点端口

以上这篇完美解决python针对hdfs上传和下载的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • python抓取网站的图片并下载到本地的方法

    python抓取网站的图片并下载到本地的方法

    今天小编就为大家分享一篇python抓取网站的图片并下载到本地的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Python单元测试框架unittest使用方法讲解

    Python单元测试框架unittest使用方法讲解

    这篇文章主要介绍了Python单元测试框架unittest使用方法讲解,本文讲解了unittest概述、命令行接口、测试案例自动搜索、创建测试代码、构建测试套件方法等内容,需要的朋友可以参考下
    2015-04-04
  • python实用代码片段收集贴

    python实用代码片段收集贴

    这篇文章主要介绍了python实用代码片段收集贴,本文收集了如获取一个类的所有子类、计算运行时间、SQLAlchemy简单使用、实现类似Java或C中的枚举等实用功能代码,需要的朋友可以参考下
    2015-06-06
  • Ubuntu16.04 安装多个python版本的问题及解决方法

    Ubuntu16.04 安装多个python版本的问题及解决方法

    Ubuntu16.04自带python2.7与python3.5，Ubuntu 官方 apt 库中还未收录 python 3.8，因此添加 deadsnakes PPA 源安装python3.8，否则会出现报错，接下来通过本文给大家介绍Ubuntu16.04 安装python的问题，一起看看吧
    2021-09-09
  • Python PyQt5实战项目之查询器的实现流程详解

    Python PyQt5实战项目之查询器的实现流程详解

    PyQt5以一套Python模块的形式来实现功能。它包含了超过620个类，600个方法和函数。它是一个多平台的工具套件，它可以运行在所有的主流操作系统中，包含Unix，Windows和Mac OS。PyQt5采用双重许可模式。开发者可以在GPL和社区授权之间选择
    2021-11-11
  • Python入门教程4. 元组基本操作

    Python入门教程4. 元组基本操作

    这篇文章主要介绍了Python元组基本操作,简单介绍了元组的创建、count方法元素统计、index方法元素获取等相关操作技巧与注意事项,需要的朋友可以参考下
    2018-10-10
  • NCCL深度学习Bootstrap网络连接建立源码解析

    NCCL深度学习Bootstrap网络连接建立源码解析

    这篇文章主要为大家介绍了NCCL深度学习Bootstrap网络连接建立源码解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-04-04
  • Python 中strip()函数详细说明及使用方法

    Python 中strip()函数详细说明及使用方法

    strip()函数是Python字符串方法之一,用于处理字符串的前导和尾随空白字符,它返回一个新字符串,该字符串是原始字符串去除前导和尾随空格（包括空格、制表符、换行符等）后的结果,这篇文章主要介绍了Python 中strip()函数详细说明及使用方法,需要的朋友可以参考下
    2024-02-02
  • 浅谈Python中函数的定义及其调用方法

    浅谈Python中函数的定义及其调用方法

    今天小编就为大家分享一篇浅谈Python中函数的定义及其调用方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 在python中使用xlrd获取合并单元格的方法

    在python中使用xlrd获取合并单元格的方法

    今天小编就为大家分享一篇在python中使用xlrd获取合并单元格的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12

最新评论