脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pyspark 读取csv文件创建DataFrame

pyspark 读取csv文件创建DataFrame的两种方法

 更新时间：2018年06月07日 08:36:22   作者：Stephen__Chou  
今天小编就为大家分享一篇pyspark 读取csv文件创建DataFrame的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

方法一：用pandas辅助

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'game-clicks.csv') 
sdf=sqlc.createDataFrame(df)

方法二：纯spark

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('game-clicks.csv')

以上这篇pyspark 读取csv文件创建DataFrame的两种方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python使用Gradio实现免费的内网穿透

    Python使用Gradio实现免费的内网穿透

    内网穿透是一种将内部网络服务暴露到公共网络的技术,可以让外部用户访问内部网络上的服务,本文将介绍如何使用Gradio实现免费的内网穿透,需要的可以参考下
    2024-03-03
  • python实现键盘输入的实操方法

    python实现键盘输入的实操方法

    在本篇文章里小编给各位分享了关于python怎么实现键盘输入的图文步骤以及相关知识点内容，需要的朋友们参考下。
    2019-07-07
  • python实现套接字创建

    python实现套接字创建

    这篇文章主要为大家介绍了python套接字创建实现，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • Python中三种时间格式转换的方法

    Python中三种时间格式转换的方法

    本文主要介绍了Python中三种时间格式转换的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • django中related_name的用法说明

    django中related_name的用法说明

    这篇文章主要介绍了django中related_name的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • Python语音识别API实现文字转语音的几种方法

    Python语音识别API实现文字转语音的几种方法

    本文主要介绍了Python语音识别API实现文字转语音的几种方法，文中根据实例编码详细介绍的十分详尽，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-03-03
  • Python使用shutil操作文件、subprocess运行子程序

    Python使用shutil操作文件、subprocess运行子程序

    这篇文章介绍了Python使用shutil操作文件、subprocess运行子程序的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-05-05
  • Python数据可视化实现正态分布（高斯分布）

    Python数据可视化实现正态分布（高斯分布）

    这篇文章主要介绍了Python数据可视化实现正态分布（高斯分布），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • python求质数列表的例子

    python求质数列表的例子

    今天小编就为大家分享一篇python求质数列表的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • 详解python-图像处理（映射变换）

    详解python-图像处理（映射变换）

    这篇文章主要介绍了python-图像处理（映射变换），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03

最新评论