Python urllib.request对象案例解析

更新时间：2020年05月11日 09:50:22 作者：孤灯引路人

这篇文章主要介绍了Python urllib.request对象案例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

刚刚接触爬虫，基础的东西得时时回顾才行，这么全面的帖子无论如何也得厚着脸皮转过来啊！

什么是 Urllib 库？

urllib 库是 Python 内置的 HTTP 请求库。urllib 模块提供的上层接口，使访问 www 和 ftp 上的数据就像访问本地文件一样。

有以下几种模块：

1.urllib.request 请求模块

2. urllib.error 异常处理模块

3. urllib.parse url 解析模块

4. urllib.robotparser robots.txt 解析模块

Urllib 库下的几种模块基本使用如下：

urllib.request

关于 urllib.request： urllib.request 模块提供了最基本的构造 HTTP （或其他协议如 FTP）请求的方法，利用它可以模拟浏览器的一个请求发起过程。利用不同的协议去获取 URL 信息。它的某些接口能够处理基础认证（ Basic Authenticaton）、redirections （HTTP 重定向)、 Cookies (浏览器 Cookies）等情况。而这些接口是由 handlers 和 openers 对象提供的。

1.常用的方法有

　　read()==读取文件内容
　　geturl()==获取请求url
　　getheaders()==获取http请求头信息
　　getcode()==获取状态码
　　readlines()==获取一行

2.案例

#coding=utf-8
#import urllib.request
#=========response方法使用
#read()==读取文件内容
#geturl()==获取请求url
#getheaders()==获取http请求头信息
#getcode()==获取状态码
#readlines()==获取一行
#url="http://www.baidu.com";
#response = urllib.request.urlopen(url);
#=====案例1
# str = response.read().decode();#这样通过decode转换为utf8
# with open("baidu.html","w",encoding="utf8") as fp:
#   fp.write(str);
#=====案例2通过字节流写=默认通过read读取的是字节流
# with open("bai.html","wb") as fp:
#   fp.write(response.read()); 
#==使用字节流读取存图片
# image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
# response = urllib.request.urlopen(image_url);
# with open("mv.jpg",'wb') as fp:
#   fp.write(response.read());
#案例3==使用内置函数读取图片
#image_url='https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=3772530225,1800402028&fm=26&gp=0.jpg';
#urllib.request.urlretrieve(image_url,"chun.jpg");

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python selenium 获取标签的属性值、内容、状态方法
今天小编就为大家分享一篇python selenium 获取标签的属性值、内容、状态方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
django用户登录验证的完整示例代码
这篇文章主要给大家介绍了关于django用户登录验证的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Spring django具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-07-07
matplotlib 生成的图像中无法显示中文字符的解决方法
这篇文章主要介绍了matplotlib 生成的图像中无法显示中文字符的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-06-06
python字符串和常用数据结构知识总结
在本文中我们系统的给大家整理了关于python字符串和常用数据结构的相关知识点以及实例代码，需要的朋友们学习下。
2019-05-05
利用Python脚本生成sitemap.xml的实现方法
最近项目中需要用脚本生成sitemap，中间学习了一下sitemap的格式和lxml库的用法。把结果记录一下，方便以后需要直接拿来用。下面这篇文章主要介绍了利用Python脚本生成sitemap.xml的实现方法,需要的朋友可以参考借鉴，一起来看看吧。
2017-01-01
基于Python实现人脸自动戴口罩系统
2019年新型冠状病毒感染的肺炎疫情发生以来，牵动人心，举国哀痛，口罩、酒精、消毒液奇货可居。这篇文章主要介绍了基于Python的人脸自动戴口罩系统,需要的朋友可以参考下
2020-02-02
python导入csv文件出现SyntaxError问题分析
这篇文章主要介绍了python导入csv文件出现SyntaxError问题分析，同时涉及python导入csv文件的三种方法，具有一定借鉴价值，需要的朋友可以参考下。
2017-12-12
python 实现多线程的三种方法总结
这篇文章主要介绍了python 实现多线程的三种方法总结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-04-04
python单元测试unittest实例详解
这篇文章主要介绍了python单元测试unittest用法,以实例形式详细分析了Python中单元测试的概念、用法与相关使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-05-05
实例探究Python以并发方式编写高性能端口扫描器的方法
端口扫描器就是向一批端口上发送请求来检测端口是否打开的程序,这里我们以实例探究Python以并发方式编写高性能端口扫描器的方法
2016-06-06

Python urllib.request对象案例解析

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具