python编程之requests在网络请求中添加cookies参数方法详解

 更新时间:2017年10月25日 14:44:15   作者:Winterto1990  
这篇文章主要介绍了python编程之requests在网络请求中添加cookies参数方法详解,具有一定参考价值,需要的朋友可以了解下。

哎,好久没有学习爬虫了,现在想要重新拾起来。发现之前学习爬虫有些粗糙,竟然连requests中添加cookies都没有掌握,惭愧。废话不宜多,直接上内容。

我们平时使用requests获取网络内容很简单,几行代码搞定了,例如:

import requests 
res=requests.get("https://cloud.flyme.cn/browser/index.jsp") 
print res.content

你没有看错,真的只有三行代码。但是简单归简单,问题还是不少的。

首先,这里的请求只是get方法,并且没有解决cookies的问题。

然后就是这里并没有解决乱码的问题。(乱码是python中的变态点)其实,在requests的get方法中添加cookies的方法不难 可以这样子:

res=requests.get("https://cloud.flyme.cn/browser/index.jsp",cookies=cookies) 

我们所面临的问题是,如何构造这里的cookies。

这里的cookies是一个字典格式的数据。

平时我们浏览网页的时候,在审查元素中可以查看到所访问网页的cookies内容,大都是这样子的:

sn_openNetBySms=%23810EBMA3TE53; sn_map=810EBMA3TE53; DSESSIONID=f1987887-3d1d-4a85-ad75-c6270e588290; JSESSIONID=; _uid=; _keyLogin=; _rmtk=; _uticket=ns_0393027c2f9f686e3499e8ebb8d1d622; _ckk=ns_397a592791064029bf1336eff1cf516e; ucuid=8a135520affa423584307f6e2c210f02; _domain=cloud.flyme.cn; _islogin=true; lang=zh_CN; JSESSIONID=1gmfzynp0ns6s1u6a92xkqgi6q 

天那,这是人看的吗?不是。这是经过加密处理后的数据。同样,我们可以将加密后的数据传递到get方法的cookies参数中,服务器会自动将加密后的数据进行解密,再检查数据的正确性。

至于,如何查看所访问网页的cookies内容,可以使用浏览器的审查功能,F12或者右击审查(Chrome)打开。在network中查看链接的Headers内容。另外,也可以使用软件抓包查看,如Fiddler web Debugger。

这里假设获取到了cookies的内容,我们可以保存到本地TXT文件中(直接把cookies的内容粘贴进去即可),例如test.txt文件。
然后,

f=open(r'test.txt','r')#打开所保存的cookies内容文件 
cookies={}#初始化cookies字典变量 
for line in f.read().split(';'):  #按照字符:进行划分读取 
  #其设置为1就会把字符串拆分成2份 
  name,value=line.strip().split('=',1) 
  cookies[name]=value #为字典cookies添加内容 

这时候我们将cookies添加到get方法中:

res=requests.get("https://cloud.flyme.cn/browser/index.jsp",cookies=cookies) 

这时候获取到的res.content中就是我们将cookies信息添加到get中后访问网页所获取的内容。

总结

以上就是本文关于python编程之requests在网络请求中添加cookies参数方法详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:python正则表达式re之compile函数解析Python_LDA实现方法详解Python探索之修改Python搜索路径等,如有不足之处,欢迎留言讨论。感谢朋友们对本站的支持!

相关文章

  • 在Python中append以及extend返回None的例子

    在Python中append以及extend返回None的例子

    今天小编就为大家分享一篇在Python中append以及extend返回None的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • 利用python添加表格到PowerPoint中的代码示例

    利用python添加表格到PowerPoint中的代码示例

    有效的信息传达是演示文稿中的重点,而PowerPoint演示文稿作为最广泛使用的演示工具之一,提供了丰富的功能来帮助演讲者实现这一目标,本文将介绍如何利用Python来添加表格到PowerPoint演示文稿中,需要的朋友可以参考下
    2024-08-08
  • python读csv文件时指定行为表头或无表头的方法

    python读csv文件时指定行为表头或无表头的方法

    这篇文章主要介绍了python读csv文件时指定行为表头或无表头的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-06-06
  • Python使用psutil对系统数据进行采集监控

    Python使用psutil对系统数据进行采集监控

    psutil库可以实时获取系统的一些信息,这样就可以达到实时监控系统的目的。本文对详细讲解了ython使用psutil对系统数据进行采集监控,感兴趣的朋友可以看一看
    2021-08-08
  • Python爬虫实战之爬取某宝男装信息

    Python爬虫实战之爬取某宝男装信息

    网络爬虫是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。本文将为大家介绍如何利用爬虫获取某宝男装信息,感兴趣的小伙伴可以了解一下
    2021-12-12
  • Python实现的飞速中文网小说下载脚本

    Python实现的飞速中文网小说下载脚本

    这篇文章主要介绍了Python实现的飞速中文网小说下载脚本,本文直接给出实现代码,需要的朋友可以参考下
    2015-04-04
  • 后端开发使用pycharm的技巧(推荐)

    后端开发使用pycharm的技巧(推荐)

    这篇文章主要介绍了后端开发使用pycharm的技巧,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03
  • Python第三方库的几种安装方式(小结)

    Python第三方库的几种安装方式(小结)

    这篇文章主要介绍了Python第三方库的几种安装方式(小结),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Python re模块介绍

    Python re模块介绍

    这篇文章主要介绍了Python re模块介绍,需要的朋友可以参考下
    2014-11-11
  • vc6编写python扩展的方法分享

    vc6编写python扩展的方法分享

    有些C/C++的代码要在Python中要用到,又不想转成python,所以就写成python的扩展来调用,以下是我尝试后,在VC6下编写python扩展的过程
    2014-01-01

最新评论