从PySpark中的字符串获取列表方法讲解
在 PySpark 中是否有类似eval的功能。
我正在尝试将 Python 代码转换为 PySpark
我正在查询一个数据框，并且其中一列具有数据，如下所示，但采用字符串格式。
[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]
假设“ x”是在数据框中保存此值的列。
现在，我想传递该字符串列“ x”并获取列表，以便可以将其传递给 mapPartition 函数。
我想避免迭代驱动程序上的每一行，这就是我这样想的原因。
在 Python 中使用 eval()函数(如果已使用)：我得到以下输出：
x = "[{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}, {u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}, {u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}]"
list = eval(x)
for i in list: print i
输出：(这也是我在 PySpark 中想要的)
{u'date': u'2015-02-08', u'by': u'abc@gg.com', u'value': u'NA'}
{u'date': u'2016-02-08', u'by': u'dfg@yaa.com', u'value': u'applicable'}
{u'date': u'2017-02-08', u'by': u'wrwe@hot.com', u'value': u'ufc'}
如何在 PySpark 中做到这一点？
实例扩展：
df.schema: StructType(List(StructField(id,StringType,true),StructField(recs,StringType,true)))
|id | recs | |ABC|[66, [["AB", 10]]] |XYZ|[66, [["XY", 10], ["YZ", 20]]] |DEF|[66, [["DE", 10], ["EF", 20], ["FG", 30]]]
我正试着把这些单子弄平
|id | like_id
|ABC|AB|
|XYZ|XY|
|XYZ|YZ|
|DEF|DE|
|DEF|EF|
|DEF|FG|
到此这篇关于从PySpark中的字符串获取列表方法讲解的文章就介绍到这了,更多相关如何从 PySpark 中的字符串获取列表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python入门while循环语句理解学习，文中附含详细图文示例教程，有需要的朋友可以借鉴参考下，希望能够有所帮助2021-09-09
已安装tensorflow-gpu,但keras无法使用GPU加速的解决
今天小编就为大家分享一篇已安装tensorflow-gpu,但keras无法使用GPU加速的解决，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要给大家分享的是Python划分数组为连续数字集合的练习，下面文章首先对问题进行详细描述，在根据问题提出解决方案，内容详细,需要的朋友可以参考一下，希望对你有所帮助2021-11-11
字典是Python语言中唯一的映射类型。字典对象是可变的，它是一个容器类型，能存储任意个数的Python对象，其中也可包括其他容器类型。在学习了 Python 基本的字典操作后，通过学习本文的这些进阶操作，让写出的代码更加优雅简洁和pythonic。下面来一起看看吧。2016-11-11
这篇文章主要为大家详细介绍了Python伪随机数模块random，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-03-03
这篇文章主要介绍了python sort、sort_index方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
在本篇文章里小编给大家整理了一篇关于Python的scikit-image模块实例讲解内容，有需要的朋友们可以学习下。2020-12-12
Python常用时间操作总结【取得当前时间、时间函数、应用等】
这篇文章主要介绍了Python常用时间操作,包括取得当前时间、时间函数、应用等概念与相关操作技巧,需要的朋友可以参考下2017-05-05
python点云地面点滤波(Progressive Morphological Filter)算法介绍（PCL库）
这篇文章主要介绍了python点云地面点滤波(Progressive Morphological Filter)算法介绍（PCL库）,了解膨胀/腐蚀这两个基础操作,可以通过对其进行简单组合来形成开/闭操作,需要的朋友可以参考下2021-08-08
Python实现微信自动回复信息的功能(根据不同信息回复对应的信息)
这篇文章主要介绍了Python实现微信自动回复信息的功能(根据不同信息回复对应的信息),我们使用的第三方包是UIAutomation,结合示例代码给大家介绍的非常详细,需要的朋友可以参考下2023-09-09
最新评论