脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → string类型转换为spark rdd时报错

将string类型的数据类型转换为spark rdd时报错的解决方法

 更新时间：2019年02月18日 09:41:56   作者：gavenyeah  
今天小编就为大家分享一篇关于将string类型的数据类型转换为spark rdd时报错的解决方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧

在将string类型的数据类型转换为spark rdd时，一直报这个错，StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料，问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case，终于把问题解决。记录一下！

.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是，将sc.parallelize([list0])中的list0再转成一个整体list，问题即可解决。

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

您可能感兴趣的文章:

相关文章

  • python实现银行实战系统

    python实现银行实战系统

    这篇文章主要为大家详细介绍了python实现银行实战系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-02-02
  • Python编程实现正则删除命令功能

    Python编程实现正则删除命令功能

    这篇文章主要介绍了Python编程实现正则删除命令功能,涉及Python针对文件与目录的正则匹配、删除等相关操作技巧,需要的朋友可以参考下
    2017-08-08
  • Python中非常实用的Math模块函数教程详解

    Python中非常实用的Math模块函数教程详解

    Math模块中，有很多基础的数学知识，我们必须要掌握的，例如：指数、对数、三角或幂函数等。因此，特意借着这篇文章，为大家讲解一些该库
    2021-10-10
  • 如何在Python中自定义异常类与异常处理机制

    如何在Python中自定义异常类与异常处理机制

    在Python编程中,异常处理是一种重要的编程范式,它允许我们在程序运行时检测并处理错误,本文将介绍如何在Python中编写自定义的异常类,并详细解释Python的异常处理机制,感兴趣的朋友一起看看吧
    2024-06-06
  • python实现翻译word表格小程序

    python实现翻译word表格小程序

    这篇文章主要为大家详细介绍了python翻译word表格小程序，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-02-02
  • 如何基于Python创建目录文件夹

    如何基于Python创建目录文件夹

    这篇文章主要介绍了如何基于Python创建目录文件夹,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • Pygame transform模块入门介绍

    Pygame transform模块入门介绍

    pygame.transform模块允许您对加载、创建后的图像进行一系列操作，比如调整图像大小、旋转图片等操作，感兴趣的可以了解一下
    2022-08-08
  • Win系统PyQt5安装和使用教程

    Win系统PyQt5安装和使用教程

    这篇文章主要介绍了Win系统PyQt5安装和使用教程，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-12-12
  • 使用Python实现FTP文件自动传输脚本

    使用Python实现FTP文件自动传输脚本

    这篇文章主要为大家详细介绍了如何使用Python实现FTP文件自动传输脚本,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以了解下
    2023-12-12
  • Python中assert函数的使用(含源代码)

    Python中assert函数的使用(含源代码)

    本文主要介绍了Python中assert函数的使用(含源代码)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04

最新评论