脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python的urllib2模块总结

Python网络编程中urllib2模块的用法总结

 更新时间：2016年07月12日 15:30:16   作者：duhaizhang  
使用urllib2模块进行基于url的HTTP请求等操作大家也许都比较熟悉,这里我们再深入来了解一下urllib2针对HTTP的异常处理相关功能,一起来看一下Python网络编程中urllib2模块的用法总结:

一、最基础的应用

import urllib2

url = r'http://www.baidu.com'
html = urllib2.urlopen(url).read()

print html

客户端与服务器端通过request与response来沟通，客户端先向服务端发送request，然后接收服务端返回的response

urllib2提供了request的类，可以让用户在发送请求前先构造一个request的对象，然后通过urllib2.urlopen方法来发送请求

import urllib2

url = r'http://www.baidu.com'
req = urllib2.Request(url)
html = urllib2.urlopen(req).read()
print html

上例中先使用

req = urllib2.Request(url)

实例化一个resquest对象，接下来使用

urllib2.urlopen(req)

来打开这个网页。

我们注意到在实例化Request对象的时候，队了url是必须的，还有几个默认的参数

2016712152259943.png (864×76)

基中data与header也是使用的比较多的，一些需要登录的才能浏览的网站经常需要这两个参数

import urllib 
import urllib2 
 
url = 'http://www.baidu.com/' 
values = {'name' : 'Michael Foord', 'location' : 'Northampton','language' : 'Python' } 
data = urllib.urlencode(values) 
req = urllib2.Request(url,data) 
response = urllib2.urlopen(req) 
the_page = response.read()

print the_page

这个例子是向百度发送几个数据，这个例子是会返回一个错误页面，很正常，因为我们在访问百度的时候并不需要post什么信息，post了倒是会出错

百度是找不到相应的网页就会报错。

当然这个是POST数据，也可以用在GET方法，稍将上面的代码进行改造

百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的，这样我们需要将{‘wd':'xxx'}这个字典进行urlencode

#coding:utf-8
import urllib 
import urllib2 
 
url = 'http://www.baidu.com/s' 
values = {'wd':'杨彦星'} 
data = urllib.urlencode(values)
print data 
url2 = url+'?'+data
response = urllib2.urlopen(url2) 
the_page = response.read()

print the_page

以下以模拟登录人人网然后再显示首页内容为例来详细说明一下cookie的使用，以下是文档中给的例子，我们就通过改造这个例子来实现我们想要的功能

import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
r = opener.open("http://example.com/")
 
#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
r = opener.open(url,data)
print cj

当你看到有cj的时候,说明你已经访问了登录页面,是否正常登录你现在还看不出来,可以通过访问http://www.renren.com/home 来查看

上面的代码有两点要说明,我也是看了很长时间才明白

r = opener.open(url,data)

这句,为什么要使用opener这个对象来open,而不是用utllib2,urlopen?不光是例子里这么写,我们才这么写,通过改造我们也可以使用urllib2.urlopen,其实是因为opener是urllib2.bulid_opener创造出来的, 但是你可以这样理解,他build出来后,自已却并没有安装使用它,也没有它的属性与方法,如果想使urllib2也具有opener的属性与方法,可以先使用urllib2.install_opener(opener)来"安装"这个opener,安装完以后就可以使用urllib2来操作了

#coding:utf-8
import urllib2,urllib
import cookielib

url = r'http://www.renren.com/ajaxLogin'

#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
#r = opener.open(url,data)如果没有上面的urllib2.install_opener方法，就必须这样写了
r = urllib2.urlopen(url,data)
html = urllib2.urlopen('http://www.renren.com/home').read()

print html

同样urllib2还有proxy相关的handle,基本的思路和这个差不多。

二、异常处理

当urlopen()不能处理响应时会引起URLError异常。HTTPError异常是URLError的一个子类，只有在访问HTTP类型的URL时才会引起。

1、URLError异常

通常引起URLError的原因是：无网络连接（没有到目标服务器的路由）、访问的目标服务器不存在。在这种情况下，异常对象会有reason属性（是一个（错误码、错误原因）的元组）。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://www.baidu.com/"
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 print e.reason

2、HTTPError
每一个从服务器返回的HTTP响应都有一个状态码。其中，有的状态码表示服务器不能完成相应的请求，默认的处理程序可以为我们处理一些这样的状态码（如返回的响应是重定向，urllib2会自动为我们从重定向后的页面中获取信息）。有些状态码，urllib2模块不能帮我们处理，那么urlopen函数就会引起HTTPError异常,其中典型的有404/401。
HTTPError异常的实例有整数类型的code属性，表示服务器返回的错误状态码。
urllib2模块默认的处理程序可以处理重定向（状态码是300范围），而且状态码在100-299范围内表示成功。因此，能够引起HTTPError异常的状态码范围是：400-599.
当引起错误时，服务器会返回HTTP错误码和错误页面。你可以将HTPError实例作为返回页面，这意味着，HTTPError实例不仅有code属性，还有read、geturl、info等方法。

#! /usr/bin/env python
#coding=utf-8
import urllib2

url="http://cs.scu.edu.cn/~duanlei"
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e:
 print e.code
 print e.read()

3、总结
如果想在代码中处理URLError和HTTPError有两种方法，代码如下：

#! /usr/bin/env python
#coding=utf-8
import urllib2
url="xxxxxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.HTTPError,e: #HTTPError必须排在URLError的前面
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
except urllib2.URLError,e:
 print "Failed to reach the server"
 print "The reason:",e.reason
else:
 #something you should do
 pass #其他异常的处理
#! /usr/bin/env python
#coding=utf-8
import urllib2
url="http://xxx" #需要访问的URL
try:
 response=urllib2.urlopen(url)
except urllib2.URLError,e:
 if hasattr(e,"reason"):
 print "Failed to reach the server"
 print "The reason:",e.reason
 elif hasattr(e,"code"):
 print "The server couldn't fulfill the request"
 print "Error code:",e.code
 print "Return content:",e.read()
else:
 pass #其他异常的处理

相比较而言，第二种异常处理方法更优。

您可能感兴趣的文章:

相关文章

  • Python 学习教程之networkx

    Python 学习教程之networkx

    networkx是Python的一个包，用于构建和操作复杂的图结构，提供分析图的算法。对Python networkx相关知识感兴趣的朋友跟随小编一起看看吧
    2019-04-04
  • 使用Python实现七大排序算法的代码实例

    使用Python实现七大排序算法的代码实例

    这篇文章主要介绍了使用Python实现七大排序算法的代码实例,所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作,需要的朋友可以参考下
    2023-07-07
  • Python3.9安装gmpy2的步骤

    Python3.9安装gmpy2的步骤

    gmpy2是一个Python扩展模块，是对GMP的封装，它的前身是gmpy，接下来通过本文给大家讲解Python3.9安装gmpy2的步骤,安装gmpy2之前需要提前安装python3环境，安装python请自行百度搜索，不同的python版本会对应的gmpy库也是不同的，需要的朋友可以参考下
    2023-05-05
  • Python实现的网页截图功能【PyQt4与selenium组件】

    Python实现的网页截图功能【PyQt4与selenium组件】

    这篇文章主要介绍了Python实现的网页截图功能,结合实例形式分别描述了使用PyQt4组件与selenium组件进行网页截图操作的相关实现技巧与注意事项,需要的朋友可以参考下
    2018-07-07
  • pycharm转移缓存目录的实现

    pycharm转移缓存目录的实现

    Pycharm在使用过程中,Pycharm会生成大量缓存文件,而这些缓存文件默认存储在C盘的用户目录里面,导致C盘空间被占用，本文主要介绍了pycharm转移缓存目录，感兴趣的可以了解一下
    2023-10-10
  • pycharm激活码免费分享适用最新pycharm2020.2.3永久激活

    pycharm激活码免费分享适用最新pycharm2020.2.3永久激活

    免费为大家分享Pycharm激活码，适用最新版pycharm2020.2.3永久激活,pycharm2018，pycharm2019也可永久激活,可成功激活到2089年
    2020-11-11
  • python使用socket向客户端发送数据的方法

    python使用socket向客户端发送数据的方法

    这篇文章主要介绍了python使用socket向客户端发送数据的方法,涉及Python使用socket实现数据通信的技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • 使用Python实现Excel表格转图片

    使用Python实现Excel表格转图片

    在数据处理与信息分享过程中,Excel表格作为一种强大的数据管理工具被广泛应用,这篇文章主要为大家详细介绍了如何使用Python将Excel表格转换为图片,需要的可以参考下
    2024-04-04
  • Python内建类型float源码学习

    Python内建类型float源码学习

    这篇文章主要为大家介绍了Python内建类型float源码学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • python实现将元祖转换成数组的方法

    python实现将元祖转换成数组的方法

    这篇文章主要介绍了python实现将元祖转换成数组的方法,涉及Python中list方法的使用技巧,需要的朋友可以参考下
    2015-05-05

最新评论