通过Pandas读取大文件的实例
更新时间：2018年06月07日 10:17:14 作者：痞靥
今天小编就为大家分享一篇通过Pandas读取大文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
当数据文件过大时，由于计算机内存有限，需要对大文件进行分块读取：
import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函数的iterator参数等于True时，表示返回一个TextParser以便逐块读取文件；
chunkSize表示文件块的大小，用于迭代；
TextParser类的get_chunk方法用于读取任意大小的文件块；
StopIteration的异常表示在循环对象穷尽所有元素时报错；
concat()函数用于将数据做轴向连接：
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用参数：
objs：Series,DataFrame或者是Panel构成的序列list;
axis：需要合并连接的轴，0是行，1是列；
join：连接的参数，inner或outer；
ignore=True表示重建索引。
以上这篇通过Pandas读取大文件的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了通过代码实例展示Python中列表生成式的用法,包括找出质数、算平方数等基本用法，需要的朋友可以参考下2015-03-03
python轻松办公将100个Excel中符合条件的数据汇总到1个Excel里
这篇文章主要为大家介绍了python轻松办公将100个Excel中符合条件的数据汇总到1个Excel里示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
今天小编就为大家分享一篇python实现对csv文件的列的内容读取，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
今天小编就为大家分享一篇python看某个模块的版本方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要介绍了用python读写excel的方法,涉及xlrd模块与xlwt模块的应用,具有一定的学习借鉴价值,需要的朋友可以参考下2014-11-11
这篇文章主要介绍了关于Word2Vec可视化展示，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
这篇文章主要介绍了python利用拉链法实现字典的方法，文中给出了详细的示例代码，相信对大家具有一定的参考价值，需要的朋友可以们下面来一起看看吧。2017-03-03
这篇文章一文带你了解Python中的枚举(enum),在Python中，枚举和我们在对象中定义的类变量时一样的，每一个类变量就是一个枚举项,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python下如何查询CS反恐精英服务器信息的方法，分别分享了反恐精英1.5版本和反恐精英1.6版本的实现方法示例，有需要的朋友们可以参考借鉴，下面来一起学习学习吧。2017-01-01
大家好，本篇文章主要讲的是python淘宝抢购脚本程序实现，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-02-02
最新评论