PyCharm+PySpark远程调试的环境配置的方法

更新时间：2018年11月29日 09:45:46 作者：Mars_myCafe

今天小编就为大家分享一篇PyCharm+PySpark远程调试的环境配置的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

前言：前两天准备用 Python 在 Spark 上处理量几十G的数据，熟料在利用PyCharm进行PySpark远程调试时掉入深坑，特写此博文以帮助同样深处坑中的bigdata&machine learning fans早日出坑。

Version ：Spark 1.5.0、Python 2.7.14

1. 远程Spark集群环境

首先Spark集群要配置好且能正常启动，版本号可以在Spark对应版本的官方网站查到，注意：Spark 1.5.0作为一个比较古老的版本，不支持Python 3.6+；另外Spark集群的每个节点的Python版本必须保持一致。这里只讲如何加入pyspark远程调试所需要修改的部分。在$SPARK_HOME/conf/spark-env.sh中添加一行：

export PYSPARK_PYTHON=/home/hadoop/anaconda2/bin/python2

这里的Python路径是集群上Python版本的路径，我这里是用的anaconda安装的Python2，所以路路径如上。正常启动Spark集群后，在命令行输入pyspark后回车，能正确进入到pyspark shell。

2. 本地PyCharm配置

首先将Spark集群的spark-1.5.0部署包拷贝到本地机器，并在/etc/hosts(Linux类机器)或C:\Windows\System32….\hosts(Windows机器)中加入Spark集群Master节点的IP与主机名的映射；本地正确安装Spark集群同版本Python；

安装py4j

PyCharm+PySpark远程调试的环境配置

添加spark-1.5.0/python目录

PyCharm+PySpark远程调试的环境配置

新建一个Python文件Simple，编辑Edit Configurations添加SPARK_HOME变量

PyCharm+PySpark远程调试的环境配置

写一个类似下面的简单测试程序

# -*- encoding: UTF-8 -*-
# @auther:Mars
# @datetime:2018-03-01
from pyspark import SparkContext

sc = SparkContext("spark://master:7077","Simple APP")
logData = sc.textFile("hdfs://master:9000/README.md").cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i"%(numAs, numBs))

sc.stop()

运行可以得到看到下图，就OK了~

PyCharm+PySpark远程调试的环境配置

切记，1）本地与Spark集群的版本要一致；2）程序中不要用IP地址（不信可以试试，如果你用IP地址不报错，请告知我~谢谢）

以上这篇PyCharm+PySpark远程调试的环境配置的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python构建深度神经网络（续）
这篇文章主要详细介绍了python构建深度神经网络DNN，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-03-03
python列表推导和生成器表达式知识点总结
在本篇文章里小编给大家整理的是关于python列表推导和生成器表达式的相关知识点内容，需要的朋友们可以参考下。
2020-01-01
Python数据可视化实践之使用Matplotlib绘制图表
数据可视化是数据分析的重要环节，通过将数据转化为图形，可以更直观地展示数据特征和规律。Python中的Matplotlib库是一个强大的数据可视化工具，本文将带您了解Matplotlib的基本使用方法，以及如何绘制常见的图表
2023-05-05
Django查询优化及ajax编码格式原理解析
这篇文章主要介绍了Django查询优化及ajax编码格式原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-03-03
Django中的“惰性翻译”方法的相关使用
这篇文章主要介绍了Django中的“惰性翻译”方法的相关使用,Django是最具人气的Python web开发框架,需要的朋友可以参考下
2015-07-07
Django中常用的查询数据方法及查询对象的条件详解
在web 开发过程中,Django 与后台数据库的交互是必不可少的一项,也是实现业务逻辑所需数据的重要方式,这篇文章主要给大家介绍了关于Django中常用的查询数据方法及查询对象条件的相关资料,需要的朋友可以参考下
2021-09-09
Python实现复杂对象转JSON的方法示例
这篇文章主要介绍了Python实现复杂对象转JSON的方法,结合具体实例形式分析了Python针对json转换的相关操作技巧,需要的朋友可以参考下
2017-06-06
Python中format()格式输出全解
这篇文章主要介绍了Python中format()格式输出 ,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
2019-04-04
Windows下pycharm创建Django 项目(虚拟环境)过程解析
这篇文章主要介绍了Windows下pycharm创建Django 项目(虚拟环境)过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-09-09
Python实现的银行系统模拟程序完整案例
这篇文章主要介绍了Python实现的银行系统模拟程序,结合完整实例形式分析了Python基于面向对象程序设计模拟的银行系统登录验证、开户、找回密码、挂失、查询、存取款、转账等功能相关操作技巧,需要的朋友可以参考下
2019-04-04