python urllib.request模块的使用详解

更新时间：2021年03月17日 11:55:20 作者：可爱的黑精灵

这篇文章主要介绍了python urllib.request模块的使用详解，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下

urllib子模块

urllib.request 打开或请求url
urllib.error 捕获处理请求时产生的异常
urllib.parse 解析url
urllib.robotparser 用于解析robots.txt文件

robots.txt是一种存放于网站根目录下文本文件，用来告诉网络爬虫服务器上的那些文件可以被查看。又被成为robots协议，是一种约定俗成的协议。

request模块

function request.urlopen()

urlopen方法用来打开资源url，常用带参数形式urlopen(url,data=None)，url：资源url，data：携带的数据。

方法的返回值始终为一个对象，并可以调用相应的方法获取返回的信息。其中对于http及https的url来说会返回一个http.client.HTTPResponse对象；

import urllib.request
# 我们用本地的一个简单html文件来测试
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req)

1. read() 返回服务器返回的原始数据；

import urllib.request

url ='http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.read())

我们可以再调用decode()方法来解码。

import urllib.request

url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.read().decode())

2.geturl() 返回获取资源的url；

创建一个测试页

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html' 

req = urllib.request.urlopen(url)

print(req.geturl())

前端重定向

我们在页面中添加js脚本重定向页面window.location.href='http://127.0.0.1:8848/chenjy/test2.html';，会发现访问的时候会重定向到test2，但是geturl还是获取的重定向前的

后端重定向

我们启动一个项目并添加一个拦截器当访问index.html的时候重定向到/ls/html/list.html页面,geturl获取的是重定向后的页面

@Override
  	    public void handle(String target, HttpServletRequest request, HttpServletResponse response, boolean[] isHandled) {
  	      int index = target.lastIndexOf("index.html");
  	  	  if (index != -1){
    	    	HandlerKit.redirect("/ls/html/list.html",request,response,isHandled);
  	  	  }
  	      
  	    }

import urllib.request
url = 'http://localhost:8088/ls/index.html'

req = urllib.request.urlopen(url)

print(req.geturl())

3.info() 返回页面的元信息；

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.info())

4.getcode() 返回页面的状态码；

import urllib.request
url = 'http://127.0.0.1:8848/chenjy/test.html'

req = urllib.request.urlopen(url)

print(req.getcode())

class request.Request

url请求类 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

url：请求url
data：请求传参；bytes字节流
headers：请求头
origin_req_host：请求原始主机；不带端口
unverifiable：是否不可验证；
method ：请求方法；如GET、POST、PUT等

import urllib.request

# 模拟iphone5请求百度手机版页面
url = 'https://www.baidu.com/'

user_agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
headers = {
  'User-Agent': user_agent
}

# 抓取page信息
req = urllib.request.Request(url, headers=headers,method='GET')
page = urllib.request.urlopen(req).read().decode('utf-8')

print(page)

以上就是python urllib.request模块的使用详解的详细内容，更多关于python urllib.request模块的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Python3实现打格点算法的GPU加速实例详解
这篇文章主要给大家介绍了关于Python3实现打格点算法的GPU加速的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用python具有一定的参考学习价值,需要的朋友可以参考下
2021-09-09
M1芯片安装python3.9.1的实现
这篇文章主要介绍了M1芯片安装python3.9.1的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-02-02
简单介绍Python的Tornado框架中的协程异步实现原理
这篇文章主要介绍了简单介绍Python的Tornado框架中的协程异步实现原理,作者基于Python的生成器讲述了Tornado异步的特点,需要的朋友可以参考下
2015-04-04
jupyter .ipynb转.py的实现操作
这篇文章主要介绍了jupyter .ipynb转.py的实现操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-03-03
opencv-python 提取sift特征并匹配的实例
今天小编就为大家分享一篇opencv-python 提取sift特征并匹配的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
python怎么创建新文件代码举例
Python创建新文件有多种方法,包括使用open函数、with语句和Pathlib模块,这篇文章主要给大家介绍了关于python怎么创建新文件的相关资料,需要的朋友可以参考下
2023-12-12
浅谈python中频繁的print到底能浪费多长时间
今天小编就为大家分享一篇浅谈python中频繁的print到底能浪费多长时间，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
python使用datetime模块计算各种时间间隔的方法
这篇文章主要介绍了python使用datetime模块计算各种时间间隔的方法,实例分析了Python使用datetime模块进行各种常用的时间操作技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-03-03
Python深度学习线性代数示例详解
这篇文章主要为大家讲解了Python深度学习中线性代数的示例详解有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-10-10
CentOS7上使用pyenv搭建Django环境
本文主要介绍了CentOS7上使用pyenv搭建Django环境，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-11-11