pandas string转dataframe的方法
更新时间：2018年04月11日 08:56:21 作者：小煤矿屁
下面小编就为大家分享一篇pandas string转dataframe的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天业务上碰到用pandas处理一个大文件的内存不够问题，需要做concat 合并多个文件，每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理，后面发现即使pandas内存问题解决了，用pickle做保存数据时也会提升内存不够的报错，后来把dataframe对象转化成string，发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里，官网文档上只有to_string的说明，而从string转dataframe却没有提供直接的函数。
其实很简单，我们可以把string放到一个文件对象里，然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现的三层BP神经网络算法,结合完整实例形式分析了Python三层BP神经网络算法的具体实现与使用相关操作技巧,需要的朋友可以参考下2018-02-02
Python语言拥有丰富的数据可视化库,其中Plotly是一款流行的工具,提供了绘制高质量三维图形的功能,本文将介绍如何使用Python和Plotly来绘制各种类型的3D图形,并给出代码实例,需要的朋友可以参考下2024-05-05
这篇文章主要介绍了python去除字符串最后的换行符'\n',本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-04-04
今天小编就为大家分享一篇pytorch标签转onehot形式实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python 程序报错崩溃后如何倒回到崩溃的位置,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Pytorch BertModel的使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了Python基础之常用库常用方法整理,文中有非常详细的代码示例,对正在学习python基础的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-04-04
最近为了考试打算抓取网上的软考试题，在抓取中遇到一些问题，下面这篇文章主要介绍的是利用python爬取软考试题之ip自动的相关资料，文中介绍的非常详细，需要的朋友们下面来一起看看吧。2017-03-03
这篇文章主要为大家介绍了python解析照片拍摄时间进行图片整理的示例源码，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
Python-torch 之torch.clamp() 函数解析
torch.clamp()函数用于对输入张量进行截断操作，将张量中的每个元素限制在指定的范围内，这篇文章主要介绍了Python torch之torch.clamp()函数,需要的朋友可以参考下2023-05-05
最新评论