python memory_profiler库生成器和迭代器内存占用的时间分析

 更新时间:2022年06月28日 14:41:48   作者:MAR-Sky  
这篇文章主要介绍了python memory_profiler库生成器和迭代器内存占用的时间分析,文章围绕主题展开详细的内容介绍,感兴趣的小伙伴可以参考一下

不进行计算时,生成器和list空间占用

import time
from memory_profiler import profile
@profile(precision=4)
def list_fun():
	start = time.time()
	total = ([i for i in range(5000000)])
	print('iter_spend_time:',time.time()-start)

@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = (i for i in range(5000000))

	print('gent_spend_time:',time.time()-gent_start)

iter_fun()
gent_func()

显示结果的含义:第一列表示已分析代码的行号,第二列(Mem 使用情况)表示执行该行后 Python 解释器的内存使用情况。第三列(增量)表示当前行相对于最后一行的内存差异。最后一列(行内容)打印已分析的代码。
分析:在不进行计算的情况下,列表list和迭代器会占用空间,但对于
生成器不会占用空间

当需要计算时,list和生成器的花费时间和占用内存

使用sum内置函数,list和生成器求和10000000个数据list内存占用较大生成器花费时间大概是list的两倍

import time
from memory_profiler import profile
@profile(precision=4)
def iter_fun():
	start = time.time()
	total = sum([i for i in range(10000000)])
	print('iter_spend_time:',time.time()-start)
@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = sum(i for i in range(10000000))

	print('gent_spend_time:',time.time()-gent_start)

iter_fun()
gent_func()

比较分析,如果需要对数据进行迭代使用时,生成器方法的耗时较长,但内存使用方面还是较少,因为使用生成器时,内存只存储每次迭代计算的数据。分析原因时个人认为,生成器的迭代计算过程中,在迭代数据和计算直接不断转换,相比与迭代器对象中先将数据全部保存在内存中(虽然占内存,但读取比再次迭代要快),因此,生成器比较费时间,但占用内存小。

记录数据循环求和500000个数据,迭代器和生成器循环得到时

总结:几乎同时完成,迭代器的占用内存较大

import time
from memory_profiler import profile
itery = iter([i for i in range(5000000)])
gent = (i for i in range(5000000))
@profile(precision=4)
def iter_fun():
	start = time.time()
	total= 0
	for item in itery:
		total+=item
	print('iter:',time.time()-start)
@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = 0
	for item in gent:
		total+=item
	print('gent:',time.time()-gent_start)
iter_fun()
gent_func()

list,迭代器和生成器共同使用sum计算5000000个数据时间比较

总结:list+sum和迭代器+sum计算时长差不多,但生成器+sum计算的时长几乎长一倍

import time
from memory_profiler import profile
@profile(precision=4)
def list_fun():
	start = time.time()
	print('start!!!')
	list_data = [i for i in range(5000000)]
	total = sum(list_data)
	print('iter_spend_time:',time.time()-start)
@profile(precision=4)
def iter_fun():
	start = time.time()
	total = 0
	total = sum(iter([i for i in range(5000000)]))
	print('total:',total)
	print('iter_spend_time:',time.time()-start)

@profile(precision=4)
def gent_func():
	gent_start = time.time()
	total = sum(i for i in range(5000000))
	print('total:',total)
	print('gent_spend_time:',time.time()-gent_start)
list_fun()
iter_fun()
gent_func()

到此这篇关于python memory_profiler库生成器和迭代器内存占用的时间分析的文章就介绍到这了,更多相关python的memory_profiler 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python中请使用isinstance()判断变量类型

    Python中请使用isinstance()判断变量类型

    这篇文章主要介绍了Python中请使用isinstance()判断变量类型,本文先是给出了isinstance函数判断变量类型的例子,并对isinstance 和 type的区别做了讲解,需要的朋友可以参考下
    2014-08-08
  • selenium学习教程之定位以及切换frame(iframe)

    selenium学习教程之定位以及切换frame(iframe)

    这篇文章主要给大家介绍了关于selenium学习教程之定位以及切换frame(iframe)的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • Python常用Web框架Django、Flask与Tornado介绍

    Python常用Web框架Django、Flask与Tornado介绍

    这篇文章介绍了Python常用Web框架Django、Flask与Tornado,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-05-05
  • python使用Pandas库提升项目的运行速度过程详解

    python使用Pandas库提升项目的运行速度过程详解

    这篇文章主要介绍了python使用Pandas库提升项目的运行速度过程详解,这是一篇关于“如何充分利用Pandas内置的强大且易于上手的特性”的指引。此外,你将学习到一些实用的节省时间的技巧,需要的朋友可以参考下
    2019-07-07
  • python实现简易名片管理系统

    python实现简易名片管理系统

    这篇文章主要为大家详细介绍了python实现简易名片管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-04-04
  • 简单了解为什么python函数后有多个括号

    简单了解为什么python函数后有多个括号

    这篇文章主要介绍了简单了解为什么python函数后有多个括号,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 对PyQt5的输入对话框使用(QInputDialog)详解

    对PyQt5的输入对话框使用(QInputDialog)详解

    今天小编就为大家分享一篇对PyQt5的输入对话框使用(QInputDialog)详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • exe反编译为.py文件的方法

    exe反编译为.py文件的方法

    本文主要介绍了exe反编译为.py文件的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • python打包成 .so的实现步骤

    python打包成 .so的实现步骤

    当需要将产品发布到外部环境的时候,源码的保护尤为重要,因此需要将python文件打成so文件的目的就是为了保护源码,本文主要介绍了python打包成.so的实现步骤,感兴趣的可以了解一下
    2023-12-12
  • 解决django的template中如果无法引用MEDIA_URL问题

    解决django的template中如果无法引用MEDIA_URL问题

    这篇文章主要介绍了解决django的template中如果无法引用MEDIA_URL问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04

最新评论