python爬虫用request库处理cookie的实例讲解

 更新时间:2021年02月20日 15:53:59   作者:宋雪维  
在本篇内容里小编给大家整理的是一篇关于python爬虫用request库处理cookie的实例讲解内容,有需要的朋友们可以学习参考下。

python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。

方法一:使用request库get方法

resp = requests.get('http://www.baidu.com/') 
print(resp.cookies) 
print(resp.cookies.get_dict())

方法二:使用requests库提供的 session对象

import requests
url = "http://www.renren.com/PLogin.do" 
data = {"email":"970138074@qq.com",'password':"pythonspider"} 
headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36" }
#登录
session = requests.session() session.post(url,data=data,headers=headers)
#访问
resp = session.get('http://www.renren.com/256450404/profile')
print(resp.text) ```

知识点扩展:

我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。

import requests
s = requests.session()
# 第一步:发送一个请求,用于设置请求中的cookies
cookies = dict(cookies_are='cookie1')
# tips: http://httpbin.org能够用于测试http请求和响应
r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r1.text)
# 第二步:发送一个请求,用于再次设置请求中的cookies
cookies = dict(cookies_are='cookie2')
r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)
print(r2.text)

运行后

# r1.text
{
 "cookies": {
 "cookies_are": "cookie1"
 }
}
# t2.text
{
 "cookies": {
 "cookies_are": "cookie2"
 }
}

到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 使用 Django 进行测试驱动开发

    使用 Django 进行测试驱动开发

    本文分享了什么是测试驱动开发,并用测试驱动开发的方式 创建了一个简单的 Django 应用程序,感兴趣的可以了解一下
    2021-11-11
  • Python count()函数用法详解

    Python count()函数用法详解

    这篇文章主要给大家介绍了关于Python count()函数用法的相关资料,Python count()方法用于统计字符串里某个字符出现的次数,可选参数为在字符串搜索的开始与结束位置,需要的朋友可以参考下
    2024-02-02
  • 解决pycharm 远程调试 上传 helpers 卡住的问题

    解决pycharm 远程调试 上传 helpers 卡住的问题

    今天小编就为大家分享一篇解决pycharm 远程调试 上传 helpers 卡住的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • python tkinter实现定时关机

    python tkinter实现定时关机

    这篇文章主要为大家详细介绍了python tkinter实现定时关机,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-04-04
  • 如何利用python的tkinter实现一个简单的计算器

    如何利用python的tkinter实现一个简单的计算器

    这篇文章主要给大家介绍了关于如何利用python的tkinter实现一个简单的计算器的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • PyCharm中关于安装第三方包的三个建议

    PyCharm中关于安装第三方包的三个建议

    这篇文章主要介绍了PyCharm中关于安装第三方包的三个建议,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • Python数据分析Numpy中常用相关性函数

    Python数据分析Numpy中常用相关性函数

    这篇文章主要为大家介绍了Python数据分析Numpy中常用相关性函数讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • Python 迭代器与生成器实例详解

    Python 迭代器与生成器实例详解

    这篇文章主要介绍了Python 迭代器与生成器实例详解的相关资料,需要的朋友可以参考下
    2017-05-05
  • 利用Python绘制有趣的万圣节南瓜怪效果

    利用Python绘制有趣的万圣节南瓜怪效果

    这篇文章主要介绍了用Python绘制有趣的万圣节南瓜怪效果,本文实例图文相结合给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-10-10
  • 使用pygame实现垃圾分类小游戏功能(已获校级二等奖)

    使用pygame实现垃圾分类小游戏功能(已获校级二等奖)

    这篇文章主要介绍了使用pygame实现垃圾分类小游戏功能(已获校级二等奖),本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07

最新评论