Python中使用MELIAE分析程序内存占用实例
更新时间：2015年02月18日 15:51:25 投稿：junjie
这篇文章主要介绍了Python中使用MELIAE分析程序内存占用实例,本文直接给出使用代码示例,需要的朋友可以参考下
写的dht协议搜索的程序，这几天优化了一下发现速度确实快了好多。但是出现了一个新的问题，内存直接飙升，我开了十个爬虫占用内存800m。开始我以为是节点太多了，找了几个小问题修改一下，发现没用。后来就到网上查找python内存分析的工具，查了一点资料发现python有个meliae库操作非常方便，就使用分析了一下，发现不是节点太多的原因0 0,是保存发送的t_id，用来标示返回的消息是那个发出的一个字典过大了。
从分析的结果非常容易的定位了某个对象的数量和大小，非常容易分析。我开始以为是因为好多发送查询信息以后，对面没返回造成这个字典里的元素没有释放造成的，我就用过期时间判断了一下，进行过期删除。发现是小了，但是不是非常显著，好像少了几十不到100M。后来又减少了查找一个随机hash的时间，以前是1分钟查一次，我改成了就第一次查！，发现没减少0 0.不知道是啥的原因。应该就是查找hash，询问节点，然后返回然后询问里边的节点，最后数量越来越多，但是我不明白的是，怎么会这么多运行一分钟就有60万条。也就是说当时内存没释放的对象就有这么多。达到这个内存占用后，基本就不再变化，有很小很慢的提升，因为还开的其他程序，不确定是不是这些程序其他对象的增加造成的。等分阶段dump测试一下。
安装直接pip install meliae 就ok了，我看好久没更新的项目了，不知道还有没有好的替代品不过用着还不错。
将内存dump到文件
复制代码 代码如下:
from meliae import scanner
scanner.dump_all_objects('/tmp/dump%s.txt' % time.time())
分析文件：
复制代码 代码如下:
from meliae import loader
#加载dump文件
om = loader.load('/opt/log/dump.txt')
#计算各Objects的引用关系
om.compute_parents()
#去掉各对象Instance的_dict_属性
om.collapse_instance_dicts()
#分析内存占用情况
om.summarize()
字段意义如下：
Index : 行索引号
Count : 该类型的对象总数
%(Count) : 该类型的对象总数 占 所有类型的对象总数 的百分比
Size : 该类型的对象总字节数
%(Size) : 该类型的对象总字节数 占 所有类型的对象总字节数 的百分比
Cum : 累积行索引后的%(Size)
Max : 该类型的对象中，最大者的字节数
Kind : 类型
分析某个对象，找出它的引用关系
复制代码 代码如下:
#得到所有的POP3ClientProtocol对象
p = om.get_all('POP3ClientProtocol')
#查看第一个对象
p[0]
#可以查看该对象的所有引用
p[0].c
#查看谁引用了这个对象
p[0].p
相关文章
这篇文章主要介绍了基于python实现破解滑动验证码过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
这篇文章主要给大家介绍了关于如何基于pytorch实现运动鞋品牌识别功能,文中通过图文以及实例代码介绍的非常详细,对大家学习或者使用PyTorch具有一定的参考学习价值,需要的朋友可以参考下2024-02-02
python的元祖和列表类似，不同之处在于元祖的元素不能修改，下面这篇文章主要给大家介绍了关于python基础学习之如何对元组各个元素进行命名的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下2018-07-07
这篇文章主要介绍了python数据类型强制转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Python实现PyPDF2处理PDF文件的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
这篇文章主要为大家详细介绍了如何利用Python3实现捕获Ctrl+C终止信号的功能，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2023-03-03
FBV是指视图函数以普通函数的形式，CBV是指视图函数以类的方式，这篇文章主要介绍了django中视图函数的FBV和CBV,需要的朋友可以参考下2022-08-08
这篇文章主要给大家介绍了关于python下载安装requests库的简单步骤,使用Python的requests库下载文件是一种常见的操作,文中通过图文介绍的非常详细,需要的朋友可以参考下2023-11-11
我的代码的哪些部分运行时间最长、内存最多？我怎样才能找到需要改进的地方？在开发过程中，我很确定我们大多数人都会想知道这一点。本文总结了一些方法来监控 Python 代码的时间和内存使用情况，希望对大家有所帮助2023-01-01
今天小编就为大家分享一篇python 处理string到hex脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
最新评论