Python urllib模块urlopen()与urlretrieve()详解
1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。
参数url表示远程数据的路径，一般是网址；
参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不必太在意，一般情况下很少用到这个参数)；
参数proxies用于设置代理。
urlopen返回 一个类文件对象，它提供了如下方法：
read() , readline() , readlines() , fileno() , close() ：这些方法的使用方式与文件对象完全一样;
info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息
getcode()：返回Http状态码。如果是http请求，200表示请求成功完成;404表示网址未找到；
geturl()：返回请求的url；
代码示例：
import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')
2.urlretrieve方法
直接将远程数据下载到本地。
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
参数说明：
url：外部或者本地url
filename：指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；
reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调。我们可以利用这个回调函数来显示当前的下载进度。
data：指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。
下面通过例子来演示一下这个方法的使用，这个例子将新浪首页的html抓取到本地，保存在D:/sina.html文件中，同时显示下载的进度。
import urllib
def callbackfunc(blocknum, blocksize, totalsize):
'''回调函数
@blocknum: 已经下载的数据块
@blocksize: 数据块的大小
@totalsize: 远程文件的大小
'''
percent = 100.0 * blocknum * blocksize / totalsize
if percent > 100:
percent = 100
print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)
相关文章
详解Python下Flask-ApScheduler快速指南
Flask是Python社区非常流行的一个Web开发框架，本文将尝试将介绍APScheduler应用于Flask之中，非常具有实用价值，需要的朋友可以参考下2018-11-11
这篇文章主要介绍了利用python绘制线型图，文章围绕主题的相关资料展开详细的内容介绍，具有一定的参考价值，感兴趣的下伙伴可以参考一下2022-06-06
大风车，吱呀吱呦呦地转，这里的风景呀真好看！天好看，地好看……一首熟悉的歌曲，是否已经把你拉回了童年？本文将用Turtle库绘制简易的大风车，需要的可以参考一下2022-06-06
这篇文章主要为大家介绍了python人工智能自定义求导tf_diffs详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
这篇文章主要介绍了Matplotlib实现各种条形图绘制，文章通过利用 plt.bar 方法实现各种条形图绘制，内容详细具有一定的参考价值，需要的小伙伴可以参考一下2022-03-03
这篇文章主要介绍了Python并发请求下限制QPS(每秒查询率)实现方法，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Python序列化与反序列化pickle用法实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Python绘制的二项分布概率图,涉及Python基于numpy、math的数值运算及matplotlib图形绘制相关操作技巧,需要的朋友可以参考下2018-08-08
大家都知道python中的注释有多种，有单行注释，多行注释，批量注释，中文注释也是常用的。python注释也有自己的规范，这篇文章文章中会给大家详细介绍Pyhton中单行和多行注释的使用方法及规范，有需要朋友们可以参考借鉴。2016-10-10
解决Jupyter notebook中.py与.ipynb文件的import问题
这篇文章主要介绍了解决Jupyter notebook中.py与.ipynb文件的import问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
最新评论