Python爬虫DNS解析缓存方法实例分析
更新时间：2017年06月02日 14:14:51 作者：九茶
这篇文章主要介绍了Python爬虫DNS解析缓存方法,结合具体实例形式分析了Python使用socket模块解析DNS缓存的相关操作技巧与注意事项,需要的朋友可以参考下
本文实例讲述了Python爬虫DNS解析缓存方法。分享给大家供大家参考，具体如下：
前言：
这是Python爬虫中DNS解析缓存模块中的核心代码，是去年的代码了，现在放出来 有兴趣的可以看一下。
一般一个域名的DNS解析时间在10~60毫秒之间，这看起来是微不足道，但是对于大型一点的爬虫而言这就不容忽视了。例如我们要爬新浪微博，同个域名下的请求有1千万（这已经不算多的了），那么耗时在10~60万秒之间，一天才86400秒。也就是说单DNS解析这一项就用了好几天时间，此时加上DNS解析缓存，效果就明显了。
下面直接放代码，说明在后面。
代码：
# encoding=utf-8
# ---------------------------------------
# 版本：0.1
# 日期：2016-04-26
# 作者：九茶<bone_ace@163.com>
# 开发环境：Win64 + Python 2.7
# ---------------------------------------
import socket
# from gevent import socket
_dnscache = {}
def _setDNSCache():
""" DNS缓存 """
def _getaddrinfo(*args, **kwargs):
if args in _dnscache:
# print str(args) + " in cache"
return _dnscache[args]
else:
# print str(args) + " not in cache"
_dnscache[args] = socket._getaddrinfo(*args, **kwargs)
return _dnscache[args]
if not hasattr(socket, '_getaddrinfo'):
socket._getaddrinfo = socket.getaddrinfo
socket.getaddrinfo = _getaddrinfo
说明：
其实也没什么难度，就是将socket里面的缓存保存下来，避免重复获取。
可以将上面的代码放在一个dns_cache.py文件里，爬虫框架里调用一下这个_setDNSCache()方法就行了。
需要说明一下的是，如果你使用了gevent协程，并且用上了monkey.patch_all()，要注意此时爬虫已经改用gevent里面的socket了，DNS解析缓存模块也应该要用gevent的socket才行。
更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
相关文章
解决Python 异常TypeError: cannot concatenate ''str'' and ''int''
这篇文章主要介绍了解决Python 异常TypeError: cannot concatenate 'str' and 'int' objects，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
大家好，本篇文章主要讲的是Python中numpy数组的计算与转置详解，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
这篇文章主要介绍了Django框架中处理URLconf中特定的URL的方法,Django是丰富多彩的Python框架中最具人气的一个,需要的朋友可以参考下2015-07-07
对比两个文件相似度，python中可通过difflib.SequenceMatcher/ssdeep/python_mmdt/tlsh实现，<BR>在大量需要对比，且文件较大时，需要更高的效率，可以考虑模糊哈希，本文就来和大家详细聊聊2023-01-01
这篇文章主要为大家介绍了1行Python代码实现去除图片水印详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
本文主要介绍了Python中可以用三种方法判断文件是否存在，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-06-06
这篇文章主要介绍了Python实现在Windows平台修改文件属性，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
本文主要介绍了Python导入模块的3种方式小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
这篇文章主要为大家详细介绍了Django自定义分页的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
Python 实现 T00ls 自动签到脚本代码（邮件+钉钉通知）
这篇文章主要介绍了Python 实现 T00ls 自动签到脚本（邮件+钉钉通知）,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-07-07
最新评论