脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python requests 超时和重试

详解Python requests 超时和重试的方法

 更新时间：2018年12月18日 11:45:01   作者：丹枫无迹  
这篇文章主要介绍了详解Python requests 超时和重试的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。

超时又可分为连接超时和读取超时。

连接超时

连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是 connect() ），Request 等待的秒数。

import time
import requests

url = 'http://www.google.com.hk'

print(time.strftime('%Y-%m-%d %H:%M:%S'))
try:
  html = requests.get(url, timeout=5).text
  print('success')
except requests.exceptions.RequestException as e:
  print(e)

print(time.strftime('%Y-%m-%d %H:%M:%S'))

因为 google 被墙了，所以无法连接，错误信息显示 connect timeout（连接超时）。

2018-12-14 14:38:20
HTTPConnectionPool(host='www.google.com.hk', port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x00000000047F80F0>, 'Connection to www.google.com.hk timed out. (connect timeout=5)'))
2018-12-14 14:38:25

就算不设置，也会有一个默认的连接超时时间（我测试了下，大概是21秒）。

读取超时

读取超时指的就是客户端等待服务器发送请求的时间。（特定地，它指的是客户端要等待服务器发送字节之间的时间。在 99.9% 的情况下这指的是服务器发送第一个字节之前的时间）。

简单的说，连接超时就是发起请求连接到连接建立之间的最大时长，读取超时就是连接成功开始到服务器返回响应之间等待的最大时长。

读取超时是没有默认值的，如果不设置，程序将一直处于等待状态。 我们的爬虫经常卡死又没有任何的报错信息，原因就在这里了。

如果你设置了一个单一的值作为 timeout，如下所示：

r = requests.get('https://github.com', timeout=5)

这一 timeout 值将会用作 connect 和 read 二者的 timeout。如果要分别制定，就传入一个元组：

r = requests.get('https://github.com', timeout=(3.05, 27))

黑板课爬虫闯关的第四关正好网站人为设置了一个15秒的响应等待时间，拿来做说明最好不过了。

import time
import requests

url_login = 'http://www.heibanke.com/accounts/login/?next=/lesson/crawler_ex03/'

session = requests.Session()
session.get(url_login)

token = session.cookies['csrftoken']
session.post(url_login, data={'csrfmiddlewaretoken': token, 'username': 'guliang21', 'password': '123qwe'})

print(time.strftime('%Y-%m-%d %H:%M:%S'))

url_pw = 'http://www.heibanke.com/lesson/crawler_ex03/pw_list/'
try:
  html = session.get(url_pw, timeout=(5, 10)).text
  print('success')
except requests.exceptions.RequestException as e:
  print(e)

print(time.strftime('%Y-%m-%d %H:%M:%S'))

错误信息中显示的是 read timeout（读取超时）。

2018-12-14 15:20:47
HTTPConnectionPool(host='www.heibanke.com', port=80): Read timed out. (read timeout=10)
2018-12-14 15:20:57

超时重试

一般超时我们不会立即返回，而会设置一个三次重连的机制。

def gethtml(url):
  i = 0
  while i < 3:
    try:
      html = requests.get(url, timeout=5).text
      return html
    except requests.exceptions.RequestException:
      i += 1

其实 requests 已经帮我们封装好了。（但是代码好像变多了…）

import time
import requests
from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=3))
s.mount('https://', HTTPAdapter(max_retries=3))

print(time.strftime('%Y-%m-%d %H:%M:%S'))
try:
  r = s.get('http://www.google.com.hk', timeout=5)
  return r.text
except requests.exceptions.RequestException as e:
  print(e)
print(time.strftime('%Y-%m-%d %H:%M:%S'))

max_retries 为最大重试次数，重试3次，加上最初的一次请求，一共是4次，所以上述代码运行耗时是20秒而不是15秒

2018-12-14 15:34:03
HTTPConnectionPool(host='www.google.com.hk', port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x0000000013269630>, 'Connection to www.google.com.hk timed out. (connect timeout=5)'))
2018-12-14 15:34:23

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python生成九宫格图片的示例代码

    Python生成九宫格图片的示例代码

    这篇文章主要介绍了Python生成九宫格图片的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • Python使用watchfiles实现监控目录变更

    Python使用watchfiles实现监控目录变更

    在工作中难免会碰到这样的需求,监控指定目录,下面小编就来和大家介绍一下如何利用watchfiles 模块实现监控目录的变更,感兴趣的可以了解下
    2023-09-09
  • 使用python实现下拉选择框和页签的方法

    使用python实现下拉选择框和页签的方法

    ttk是Python中的一个模块，它提供了一组用于创建GUI界面的工具和控件，这些控件包括按钮、标签、文本框等，可以帮助开发者更方便地创建用户界面，这篇文章主要介绍了使用python实现下拉选择框和页签的方法,需要的朋友可以参考下
    2023-03-03
  • Python在字典中查找元素的3种方式

    Python在字典中查找元素的3种方式

    这篇文章主要介绍了Python在字典中查找元素的3种方式,字典是另一种可变容器模型,且可存储任意类型对象,需要的朋友可以参考下
    2023-04-04
  • Python字典数据对象拆分的简单实现方法

    Python字典数据对象拆分的简单实现方法

    这篇文章主要介绍了Python字典数据对象拆分的简单实现方法,涉及Python针对字典数据的相关遍历、拆分等操作技巧,需要的朋友可以参考下
    2017-12-12
  • python 实现socket服务端并发的四种方式

    python 实现socket服务端并发的四种方式

    这篇文章主要介绍了python 实现socket服务端并发的四种方式，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
    2020-12-12
  • python实现一个点绕另一个点旋转后的坐标

    python实现一个点绕另一个点旋转后的坐标

    今天小编就为大家分享一篇python实现一个点绕另一个点旋转后的坐标，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Pytorch 计算误判率,计算准确率,计算召回率的例子

    Pytorch 计算误判率,计算准确率,计算召回率的例子

    今天小编就为大家分享一篇Pytorch 计算误判率,计算准确率,计算召回率的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 解决ImportError: cannot import name ‘Imputer‘的问题

    解决ImportError: cannot import name ‘Imput

    您遇到的ImportError: cannot import name ‘Imputer‘错误提示表明您尝试导入一个名为’Imputer’的模块或类,但是该模块或类无法找到,本文小编给大家介绍了如何解决这个问题,需要的朋友可以参考下
    2023-10-10
  • Python 字符串使用多个分隔符分割成列表的2种方法

    Python 字符串使用多个分隔符分割成列表的2种方法

    本文主要介绍了Python 字符串使用多个分隔符分割成列表，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04

最新评论