脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → PySpark导入Python

如何将PySpark导入Python的放实现(2种)

 更新时间：2020年04月26日 15:00:49   作者：Lauhoman  
这篇文章主要介绍了如何将PySpark导入Python的放实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

方法一

使用findspark

使用pip安装findspark：

pip install findspark

在py文件中引入findspark：

>>> import findspark
>>> findspark.init()

导入你要使用的pyspark库

>>> from pyspark import *

优点：简单快捷
缺点：治标不治本，每次写一个新的Application都要加载一遍findspark

方法二

把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点：一劳永逸
缺点：对于小白可能不太了解环境变量是什么

问题1、ImportError: No module named pyspark

现象：

  • 已经安装配置好了PySpark，可以打开PySpark交互式界面；
  • 在Python里找不到pysaprk。

参照上面解决

问题2、ImportError: No module named ‘py4j'

现象：

已经安装配置好了PySpark，可以打开PySpark交互式界面；
按照上面的b方式配置后出现该问题。
解决方法：

把py4j添加到Python的环境变量中

export PYTHONPATH= $SPARK_HOME/python/lib/py4j-x.xx-src.zip:$PYTHONPATH

注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境

  • Python: 3.7、2.7
  • PySpark: 1.6.2 - 预编译包
  • OS: Mac OSX 10.11.1

参考
Stackoverflow: importing pyspark in python shell
Stackoverflow: Why can't PySpark find py4j.java_gateway?

到此这篇关于如何将PySpark导入Python的放实现(2种)的文章就介绍到这了,更多相关PySpark导入Python内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Ubuntu下安装卸载python3.8的过程

    Ubuntu下安装卸载python3.8的过程

    这篇文章主要介绍了Ubuntu下python3.8的安装与卸载，本文以在 Ubuntu 16.04 中安装为例，方法同样适用于 Ubuntu 18.04,需要的朋友可以参考下
    2021-09-09
  • django数据模型（Model）的字段类型解析

    django数据模型（Model）的字段类型解析

    这篇文章主要介绍了django数据模型（Model）的字段类型,文中给大家提到了django数据模型on_delete, db_constraint的使用,需要的朋友可以参考下
    2019-12-12
  • Jmeter通过OS进程取样器调用Python脚本实现参数互传

    Jmeter通过OS进程取样器调用Python脚本实现参数互传

    这篇文章主要介绍了Jmeter通过OS进程取样器调用Python脚本实现参数互传，描述在cmd中调用上面的Python脚本并传入两个参数展开主题，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-03-03
  • pycharm恢复默认设置或者是替换pycharm的解释器实例

    pycharm恢复默认设置或者是替换pycharm的解释器实例

    今天小编就为大家分享一篇pycharm恢复默认设置或者是替换pycharm的解释器实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • python排序方法实例分析

    python排序方法实例分析

    这篇文章主要介绍了python排序方法,实例分析了Python实现默认排序、降序排序及按照key值排序的相关技巧,非常简单实用,需要的朋友可以参考下
    2015-04-04
  • python如何写入dbf文件内容及创建dbf文件

    python如何写入dbf文件内容及创建dbf文件

    这篇文章主要介绍了python如何写入dbf文件内容及创建dbf文件,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 总结Python函数参数的六种类型

    总结Python函数参数的六种类型

    这篇文章主要总结了Python函数参数的六种类型，传递参数实现不同场景的灵活使用，下面总结的六种函数参数类型，需要的小伙伴可以参考一下
    2022-03-03
  • 详解Python实现按任意键继续/退出的功能

    详解Python实现按任意键继续/退出的功能

    在学Python时在总想实现一个按任意键继续/退出的程序(受.bat毒害), 奈何一直没有写，今天抽时间写出来了，下面分享给大家，有需要的可以参考借鉴。
    2016-08-08
  • 在Pandas中更改DataFrame中的值

    在Pandas中更改DataFrame中的值

    这篇文章主要介绍了在Pandas中更改DataFrame中的值方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • python opencv鼠标事件实现画框圈定目标获取坐标信息

    python opencv鼠标事件实现画框圈定目标获取坐标信息

    这篇文章主要为大家详细介绍了python opencv鼠标事件实现画框圈定目标，获取坐标信息，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-08-08

最新评论