spark dataframe 将一列展开,把该列所有值都变成新列的方法
更新时间：2019年01月29日 11:39:19 作者：Nougats
今天小编就为大家分享一篇spark dataframe 将一列展开,把该列所有值都变成新列的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
The original dataframe
需求：hour代表一天的24小时，现在要将hour列展开，每一个小时都作为一个列
实现：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且统计了对应的countGeoPerHour的和，如果有些行没有这个新列对应的数据，将用null填充
The new dataframe
以上这篇spark dataframe 将一列展开,把该列所有值都变成新列的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python解析xml文件操作实例,是操作XML文件的常见技巧,需要的朋友可以参考下2014-10-10
这篇文章主要介绍了用Python编写脚本使IE实现代理上网的教程,“著名的”goagent代理也是基于同样原理实现,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了Python如何实现获取视频时长功能，可以精确到毫秒。文中的示例代码简洁易懂，对我们的学习有一定的帮助，感兴趣的可以了解一下2021-12-12
在使用Python处理比较耗时操作的时候，为了便于观察处理进度，就需要通过进度条将处理情况进行可视化展示，本文主要介绍了Python进度条的使用，分享给大家，感兴趣的可以了解一下2021-05-05
零基础写python爬虫之urllib2中的两个重要概念：Openers和Handlers
文章首先介绍了urllib2的2个方法，然后详细介绍了urllib2中的2个重要概念Openers和Handlers的相关知识，希望能对大家有所帮助2014-11-11
Python 是一种简单易学、功能强大的编程语言,广泛应用于各种领域,包括网络编程、数据分析、人工智能等,在开发过程中,我们经常会遇到需要远程调试和性能优化的情况,本文将介绍如何利用远程调试工具和性能优化技巧来提高 Python 应用程序的效率和性能2024-05-05
Python3.5内置模块之shelve模块、xml模块、configparser模块、hashlib、hmac模块用法
这篇文章主要介绍了Python3.5内置模块之shelve模块、xml模块、configparser模块、hashlib、hmac模块,结合实例形式较为详细的分析了shelve、xml、configparser、hashlib、hmac等模块的功能及使用方法,需要的朋友可以参考下2019-04-04
这篇文章主要介绍了如何使用Python绘制世界疫情地图，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2022-03-03
解决Python 使用h5py加载文件,看不到keys()的问题
今天小编就为大家分享一篇解决Python 使用h5py加载文件,看不到keys()的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
这篇文章主要介绍了剖析Django中模版标签的解析与参数传递,Django是重多高人气Python框架中最为著名的一个,需要的朋友可以参考下2015-07-07
最新评论