如何在Win10系统使用Python3连接Hive
更新时间：2020年10月15日 15:12:53 作者：陆勤_数据人网
这篇文章主要介绍了如何在Win10系统使用Python3连接Hive，帮助大家更好的利用python读取数据，进行探索、分析和挖掘工作。感兴趣的朋友可以了解下
由于数据存放在大数据平台的Hive数据仓库中，我需要在Win10系统上利用Python3连接Hive，然后读取数据，进行探索、分析和挖掘工作。
我通过网上查找资料和实际测试，把Win10系统Python3成功连接Hive配置总结如下。
第一步：安装依赖库
pip install bitarray pip install bit_array pip install thrift pip install thriftpy pip install pure_sasl pip install --no-deps thrift-sasl==0.2.1
提示：若是无法安装，也可以点击如下网址，
https://www.lfd.uci.edu/~gohlke/pythonlibs/
选择合适库的whl下载，然后进行本地化安装。
第二步：安装impyla库
我采用本地化安装方式，先下载impyla库的whl，如下图：
再安装
pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl
提示：上面的绝对路径根据你自己的情况而定
第三步：测试impyla库是否可以使用
from impala.dbapi import connect #用来连接Hive的函数 from impala.util import as_pandas #用来把数据结构转换为pandas
若是运行通过，表示利用impala连接Hive配置成功。
简单示例：
从Hive的一张表读取100条记录，放到pandas的DataFrame里面。
参考代码：
from impala.dbapi import connect #用来连接Hive的函数
from impala.util import as_pandas #用来把数据结构转换为pandas
conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()
参考资料
https://github.com/cloudera/impyla
以上就是如何在Win10系统使用Python3连接Hive的详细内容，更多关于Python3连接Hive的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了python 如何对一幅灰度图像进行直方图均衡化，帮助大家更好的利用python处理图像，感兴趣的朋友可以了解下2020-10-10
本篇文章主要介绍了PyQt5 pyqt多线程操作入门，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-05-05
在程序中,经常需要按数组倒序或反序重新排列数组,下面这篇文章主要给大家介绍了关于Python实现指定数组下标值正序与倒序排序算法功能的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-02-02
这篇文章主要介绍了python 安装impala包步骤，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
由于我们markdown编辑器比较特殊，不是很方便浏览，如果转换成pdf的话,就不需要可以的去安装各种编辑器才可以看了。所以本文将介绍如何通过Python实现md转pdf或者是docx，需要的朋友可以参考一下2021-12-12
DICOM（Digital Imaging and Communications in Medicine）即医学数字成像和通信，是医学图像和相关信息的国际标准（ISO 12052）。下面这篇文章主要给大家介绍了关于python对DICOM图像读取的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧。2017-07-07
python使用seaborn绘图直方图displot,密度图,散点图
这篇文章主要介绍了python使用seaborn绘图直方图displot,密度图,散点图,文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-07-07
最近由于需要在django admin中使用到富文本编辑器，由于我比较喜欢CKEditor富文本编辑器，于是就有了这篇文章，下面这篇文章主要给大家介绍了在django中轻松使用富文本编辑器CKEditor的方法，需要的朋友可以参考下。2017-03-03
python HTTP协议相关库requests urllib基础学习
这篇文章主要介绍了python HTTP协议相关库requests urllib基础学习,有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
目前流行的强化学习算法包括 Q-learning、SARSA、DDPG、A2C、PPO、DQN 和 TRPO。这些算法已被用于在游戏、机器人和决策制定等各种应用中，本文我们将对其做一个简单的介绍，感兴趣的可以学习一下2023-01-01
最新评论