python读取几个G的csv文件方法
更新时间：2019年01月07日 10:44:25 作者：RobbenEmi
今天小编就为大家分享一篇python读取几个G的csv文件方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
如下所示：
import pandas as pd
file = pd.read_csv('file.csv',iterator=True)
while True:
chunk = file.get_chunk(1000)
print(chunk.head(10))
print(chunk.tail(10))
以上这篇python读取几个G的csv文件方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python解析json代码实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Python数据类型字典dictionary，字典是另一种可变容器模型，且可存储任意类型对象。本篇文字将详细讲述字典的常用方法，需要的可以参考一下2022-03-03
这篇文章主要介绍了Python爬虫过程解析之多线程获取小米应用商店数据,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-11-11
今天小编就为大家分享一篇python3使用pandas获取股票数据的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Python类的继承和多态代码详解，具有一定借鉴价值,需要的朋友可以参考下2017-12-12
当我们用Python来编写网站,必须要能够通过python操作数据库,下面这篇文章主要给大家介绍了关于python连接sql server数据库的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下2022-08-08
这篇文章主要为大家介绍了Python对接PicGo实现图片自动加水印并上传的操作示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
在现代网络应用和开发中,使用Cookies是一种常见的方式,它们用于存储用户信息、会话状态等,本文为大家整理了多种Python获取浏览器Cookies的方法,希望对大家有所帮助2023-12-12
这篇文章主要为大家详细介绍了python实现购物车小程序，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-02-02
python sklearn中tsne算法降维结果不一致问题的解决方法
最近在做一个文本聚类的分析,在对文本数据embedding后,想着看下数据的分布,于是用sklearn的TSNE算法来降维embedding后的数据结果,当在多次执行后,竟发现TSNE的结果竟然变了,而且每次都不一样,所以本文就给大家讲讲如何解决sklearn中tsne算法降维结果不一致的问题2023-10-10
最新评论