python处理数据,存进hive表的方法
更新时间：2018年07月04日 15:08:23 作者：小鱼人儿
今天小编就为大家分享一篇python处理数据,存进hive表的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
首先，公司的小组长给了我一个任务，把一个txt的文件中的部分内容，存进一个在hive中已有的表的相同结构的表中。所以我的流程主要有三个，首先，把数据处理成和hive中表相同结构的数据，然后仿照已有的hive中表的结构再创建一张新的数据表，最后把本地的txt文件上传到hive中新建的数据表中。
1：已有的数据表的结构和在hive表中的结构完全对不上，下面的图是原来hive中表的结构和小组长给我的txt中表的结构：
大家可以看出，我们原来的hive中表的字段一共有17个，而组长给我的表中的字段一共有9个，其中最后一个为json结构，而且顺序还不对，所以我们要进行筛选，把对应上的字段放到相应位置，对应不上的字段写成空。
大家要注意几个地方，原来的数据是按照tab来划分的，所以我们要数好对应的tab的数目，好来计算出来数据的实际的位置信息，然后我们按照原来hive表中的数据顺序，重新排列我们新建表的数据的顺序，下面给大家看看结果：
其中line[0]=null，line[1]=102，大家以此类推。
3：我们把本地的txt文件导入到hive表中。首先我们要新建一个和原来hive表中相同结构的数据表，然后把我们的数据导入到表中，
hive> creat table new_sft(x1 string,x2 string ,...,xn string) partitioned by (d string);
建好表之后，把数据导入到新表之中:
hive> load data local inpath‘/home/opendev/1.txt' into table new_sft;
最后给大家看看我的最终的结果：
以上这篇python处理数据,存进hive表的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python文件操作seek()偏移量,读取指正到指定位置操作
这篇文章主要介绍了python文件操作seek()偏移量,读取指正到指定位置操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
这篇文章主要为大家详细介绍了TensorFlow变量管理的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要介绍了最新Pygame zero最全集合,通过本文学习知道update函数是pygame zero自带的函数，每秒运行60次，当然也可以修改，本文通过示例代码给大家介绍的非常详细，需要的朋友可以参考下2022-08-08
Python ArcPy实现批量计算多时相遥感影像的各项元平均值
这篇文章主要为大家详细介绍了如何基于Python中ArcPy模块，实现对大量长时间序列栅格遥感影像文件的每一个像元进行多时序平均值的求取，感兴趣的可以了解一下2023-04-04
这篇文章主要介绍了Python实现扣除个人税后的工资计算器,涉及Python流程控制与数学运算相关操作技巧,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了python 打印完整异常问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
在本篇文章里小编给大家整理了关于python用match()函数爬数据方法以及相关知识点，需要的朋友们学习下。2019-07-07
今天小编就为大家分享一篇Python对数据进行插值和下采样的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了pyqt添加启动等待界面的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了使用GitHub和Python实现持续部署的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-05-05
最新评论