python访问抓取网页常用命令总结
更新时间：2017年04月11日 15:34:37 投稿：lqh
这篇文章主要介绍了python访问抓取网页常用命令的相关资料,需要的朋友可以参考下
python访问抓取网页常用命令
简单的抓取网页:
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
直接将URL保存为本地文件：
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
POST方式：
import urllib.parse
import urllib.request
url="http://liuxin-blog.appspot.com/messageboard/add"
values={"content":"命令行发出网页请求测试"}
data=urllib.parse.urlencode(values)
#创建请求对象
req=urllib.request.Request(url,data)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
GET方式：
import urllib.parse
import urllib.request
url="http://www.google.cn/webhp"
values={"rls":"ig"}
data=urllib.parse.urlencode(values)
theurl=url+"?"+data
#创建请求对象
req=urllib.request.Request(theurl)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
有2个常用的方法,geturl(),info()
geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。
中文问题的处理，会用到 encode()编码 dencode()解码：
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
使用Python自动化处理Word文档可以帮助您提高效率，并减少手动处理文档所需的时间和精力，所以本文为大家准备了Python快速替换Word文档中的关键字的方法，希望对大家有所帮助2023-06-06
这篇文章主要介绍了用Python绘制有趣的万圣节南瓜怪效果，本文实例图文相结合给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了Python单元和文档测试,结合实例形式分析了Python单元测试模块unittest及文档测试模块doctest相关使用技巧,需要的朋友可以参考下2019-04-04
今天小编就为大家分享一篇Python实现CNN的多通道输入实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了python中heapq堆排算法的实现，该模块提供了堆排序算法的实现。堆是二叉树，最大堆中父节点大于或等于两个子节点，最小堆父节点小于或等于两个子节点。下面文章更多详细介绍，需要的小伙伴可以参考一下2022-05-05
这篇文章主要介绍了django中related_name的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要为大家详细介绍了Python在绘图时如何实现坐标轴共享与复用,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-02-02
今天小编就为大家分享一篇pycharm new project变成灰色的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要介绍了Python 文件操作方法总结，文章基于python的基础展开Python 文件操作方法，具有一定的参考价值，需要的小伙伴可以参考一下2022-05-05
Python字典是另一种可变容器模型,且可存储任意类型对象,如字符串、数字、元组等其他容器模型,下面这篇文章主要给大家介绍了关于Python字典查找数据的5个基础操作方法,需要的朋友可以参考下2022-06-06
最新评论