python简单构建可用IP代理池
更新时间：2022年02月10日 09:06:17 作者：阿南-anan
这篇文章主要介绍了python构建简单可以代理池,实现过程匹配ip:port的正则表达式、匹配出所有的ip与端口，放入列表、判断爬取的代理ip是否可用、使用代理ip访问指定网站，具体实现需要的小伙伴可以参考下面文章内容
以下为简单示例：
import requests
import re
import telnetlib
url='http://www.66ip.cn/nmtq.php?getnum=100000&isp=0&anonymoustype=4&start=&ports=&export=&ipaddress=&area=2&proxytype=0&api=66ip'
header = {'User-agent':'xxxxxxxxxxx','Connection':'close'}
page_text = requests.get(url=url,headers=header).text
#用于匹配ip:port的正则表达式
p = r'(?:((?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5]))\D+?(6[0-5]{2}[0-3][0-5]|[1-5]\d{4}|[1-9]\d{1,3}|[0-9]))'
#匹配出所有的ip与端口，放入列表
iplist = re.findall(p,page_text)
# 判断爬取的代理ip是否可用
for i in iplist:
ip = i[0]+':'+i[1]+'\n'
try:
# 使用代理ip访问指定网站，能访问说明代理可用
# requests.get('http://www.baidu.com', proxies={"http": ip})
# 使用telnet测试代理是否可用
telnetlib.Telnet(i[0], port=i[1], timeout=3)
except:
print('connect failed')
else:
print(ip)
with open('ip.txt', 'a+', encoding='utf-8') as fp:
fp.write(ip)
到此这篇关于python构建简单可以代理池的文章就介绍到这了,更多相关python构建简单代理池内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
最近在备份手机上的照片的时候，纯手工操作觉得有些麻烦，就想写个脚本自动进行。因为备份的时候有些照片以前备份过了，所以需要有个判重操作,看下面的实现代码2013-12-12
Flask-Mail是一个处理电子邮件发送的扩展,它提供了简单且易于使用的API,可以方便地发送电子邮件,本文就来介绍一下flask之邮件发送的实现示例,感兴趣的可以了解一下2023-12-12
今天小编就为大家分享一篇Pytorch之finetune使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python自动化操作实现图例绘制,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
下面小编就为大家带来一篇python数据类型_元组、字典常用操作方法(介绍)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
ubuntu在线服务器python Package安装到离线服务器的过程
这篇文章主要介绍了ubuntu在线服务器python Package安装到离线服务器,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-04-04
这篇文章主要介绍了利用Matplotlib实现单画布绘制多个子图，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
本文将带您从零开始,逐步掌握使用Pyecharts库进行数据可视化的技能,Pyecharts是一个基于Echarts的Python可视化库,能够轻松创建各种交互式图表和地图,无论您是数据分析新手还是有经验的开发者,都能帮助您深入了解Pyecharts的使用2023-08-08
这篇文章主要介绍了Python统计分析模块statistics用法,结合实例形式分析了Python统计分析模块statistics计算平均数、中位数、出现次数、标准差等相关操作技巧,需要的朋友可以参考下2019-09-09
Python Excel数据处理之xlrd/xlwt/xlutils模块详解
在复杂的Excel业务数据处理中，三兄弟扮演的角色缺一不可。如何能够使用xlrd/xlwt/xlutils三个模块来实现数据处理就是今天的内容，希望对大家有所帮助2023-03-03
最新评论