Python 数据分析之逐块读取文本的实现

更新时间：2020年12月14日 14:19:34 作者：毕小宝

这篇文章主要介绍了Python 数据分析之逐块读取文本的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

背景

《利用Python进行数据分析》，第 6 章的数据加载操作 read_xxx，有 chunksize 参数可以进行逐块加载。

经测试，它的本质就是将文本分成若干块，每次处理 chunksize 行的数据，最终返回一个TextParser 对象，对该对象进行迭代遍历，可以完成逐块统计的合并处理。

示例代码

文中的示例代码分析如下：

from pandas import DataFrame,Series
import pandas as pd
 
path='D:/AStudy2018/pydata-book-2nd-edition/examples/ex6.csv'
# chunksize return TextParser
chunker=pd.read_csv(path,chunksize=1000)
 
# an array of Series
tot=Series([])
chunkercount=0
for piece in chunker:
	print '------------piece[key] value_counts start-----------'
	#piece is a DataFrame,lenth is chunksize=1000,and piece[key] is a Series ,key is int ,value is the key column
	print piece['key'].value_counts()
	print '------------piece[key] value_counts end-------------'
	#piece[key] value_counts is a Series ,key is the key column, and value is the key count
	tot=tot.add(piece['key'].value_counts(),fill_value=0)
	chunkercount+=1
 
#last order the series
tot=tot.order(ascending=False)
print chunkercount
print '--------------'

流程分析

首先，例子数据 ex6.csv 文件总共有 10000 行数据，使用 chunksize=1000 后，read_csv操作返回一个 TextParser 对象，该对象总共有10个元素，遍历过程中打印 chunkercount验证得到。

其次，每个 piece 对象是一个 DataFrame 对象，piece['key'] 得到的是一个 Series 对象，默认是数值索引，值为 csv 文件中的 key 列的值，即各个字符串。

将每个 Series 的 value_counts 作为一个Series，与上一次统计的 tot 结果进行 add 操作，最终得到所有块数据中各个 key 的累加值。

最后，对 tot 进行 order 排序，按降序得到各个 key 的值在 csv 文件中出现的总次数。

这里很巧妙了使用 Series 对象的 add 操作，对两个 Series 执行 add 操作，即合并相同key：key相同的记录的值累加，key不存在的记录设置填充值为0。

输出结果为：

在这里插入图片描述

到此这篇关于Python 数据分析之逐块读取文本的实现的文章就介绍到这了,更多相关Python 逐块读取文本内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python如何使用argparse模块处理命令行参数
这篇文章主要介绍了Python如何使用argparse模块处理命令行参数,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
解决python gdal投影坐标系转换的问题
今天小编就为大家分享一篇解决python gdal投影坐标系转换的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-01-01
浅析Python多线程下的变量问题
这篇文章主要介绍了Python多线程下的变量问题,由于GIL的存在,Python的多线程编程问题一直是开发者中的热点话题,需要的朋友可以参考下
2015-04-04
Python自动化运维和部署项目工具Fabric使用实例
Fabric是一个Python库，只要目标机器支持ssh访问，就可以借助fabric来进行远程操作（如在host1上对host2远程运行shell命令），显然，由于fabric是个Python package，故其它Python package都可以被import到fabric特有的fabfile.py脚本中
2016-09-09
python SQLAlchemy的Mapping与Declarative详解
这篇文章主要介绍了python SQLAlchemy的Mapping与Declarative详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07
python 打印出所有的对象/模块的属性(实例代码)
下面小编就为大家带来一篇python 打印出所有的对象/模块的属性(实例代码)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2016-09-09
Python使用gTTS库实现文本转换为语音的详细步骤
文本转换为语音（Text-to-Speech,简称TTS）技术是人工智能的重要组成部分,广泛应用于智能助手、导航系统、读屏软件和智能家居等领域,TTS技术使得机器能够将书面文字转换为自然流畅的语音,本文将介绍如何使用Python的gTTS库实现简单的TTS功能,需要的朋友可以参考下
2024-07-07
python中关于xmltodict的使用
这篇文章主要介绍了python中关于xmltodict的使用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-03-03
Python入门教程(二十六)Python的模块
这篇文章主要介绍了Python入门教程(二十六)Python的模块,Python是一门非常强大好用的语言,也有着易上手的特性,本文为入门教程,需要的朋友可以参考下
2023-04-04
用python实现弹球小游戏
大家好，本篇文章主要讲的是用python实现弹球小游戏，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
2022-01-01

Python 数据分析之逐块读取文本的实现

背景

示例代码

流程分析

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具