Python错误提示：[Errno 24] Too many open files的分析与解决
更新时间：2017年02月16日 09:16:33 作者：一只猿
这篇文章主要给大家介绍了Python中出现错误提示：[Errno 24] Too many open files的分析与解决，需要的朋友可以参考借鉴，下面来一起看看吧。
背景
最近在工作中发现了一个错误，在执行多线程扫描脚本的时候频繁出现下面这个错误
HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files',))
比较诡异...
分析
博主自己手上的一些小项目经常需要进行多线程的批量扫描来采集数据，像采集数据这种功能当然是线程越多越好了，所以通常情况下我都是使用 3000 个线程进行扫描，在确定带宽充足，系统硬件配置够高的情况下依然会出现上述问题，这就让我想到是不是因为系统的限制问题。
通过搜索引擎我找到了关于系统限制的介绍，执行
$ ulimit -n 1024
得到的结果是1024，系统限制为同时打开1024个文件，这显然是太少了。
解决
这个问题的解决方法很简单，直接修改下面的文件
sudo vim /etc/security/limits.conf
最这个文件的最后添加两行代码
* soft nofile 10240 * hard nofile 10240
当然这个数字根据自己的需要进行修改即可，保存后注销重新登录就好了。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
随着现在短视频类越来越火，随之而来的就是大量的视频图像的处理。这篇文章主要为大家介绍了Python如何一键实现图像压缩和图像处理，希望对你们有所帮助2022-07-07
pytest官方文档解读fixtures调用fixtures及fixture复用性
这篇文章主要为大家介绍了pytest官方文档解读fixtures调用fixtures及fixture复用性，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
在本篇内容里小编给大家分享的是一篇关于python生成word合同的实例方法相关内容，有需要的朋友们可以学习下。2021-01-01
这篇文章主要介绍了Python实现的基于优先等级分配糖果问题算法,涉及Python针对列表的遍历、判断、计算等相关操作技巧,需要的朋友可以参考下2018-04-04
windows系统Tensorflow2.x简单安装记录(图文)
这篇文章主要介绍了windows系统Tensorflow2.x简单安装记录(图文)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
使用python编程时,改变控制台或终端中输出字体的颜色和格式,会显著提升代码质量,快速帮助我们定位问题和锁定重要输出,但是一般情况下,python控制台输出的字体默认为白色,所以这篇文章给大家介绍了如何利用Python控制终端打印字体的颜色和格式,需要的朋友可以参考下2024-06-06
这篇文章主要介绍了Python中reduce()函数的语法参数与作用详解,reduce函数是通过函数对迭代器对象中的元素进行遍历操作,Python3.x中reduce函数已经从内置函数中取消了,转而放在functools模块中,需要的朋友可以参考下2023-08-08
这篇文章主要为大家详细介绍了python利用smtplib实现QQ邮箱发送邮件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-05-05
这篇文章主要介绍了由Python编写的MySQL管理工具，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-04-04
今天小编就为大家分享一篇利用ctypes获取numpy数组的指针方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-02-02
最新评论