使用Python爬虫库requests发送请求、传递URL参数、定制headers
更新时间：2020年01月25日 11:50:39 作者：BQW_
今天为大家介绍一下Python爬虫库requests的发送请求、传递URL参数、定制headers的基础使用方法
首先我们先引入requests模块
import requests
一、发送请求
r = requests.get('https://api.github.com/events') # GET请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请求
r = requests.delete('http://httpbin.org/delete') # DELETE请求
r = requests.head('http://httpbin.org/get') # HEAD请求
r = requests.options('http://httpbin.org/get') # OPTIONS请求
type(r)
requests.models.Response
二、传递URL参数
URL传递参数的形式为：httpbin.org/get?key=val。但是手动的构造很麻烦，这是可以使用params参数来方便的构造带参数URL。
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2
同一个key可以有多个value
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
三、定制headers
只需要将一个dict传递给headers参数便可以定制headers
url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)
更多关于Python爬虫库requests的使用方法请点击下面的相关链接
相关文章
这篇文章主要介绍了C#返回当前系统所有可用驱动器符号的方法,涉及C#操作系统硬件驱动的相关技巧,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了Python contextlib模块使用示例,本文着重使用contextlib模块产生一个上下文管理器,需要的朋友可以参考下2015-02-02
这篇文章主要介绍了Python内建模块struct实例详解，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
这篇文章主要介绍了Python 中@property的用法详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
这篇文章主要给大家介绍了关于如何利用python查看数组中的所有元素是否相同的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
这篇文章主要介绍了python Event事件、进程池与线程池、协程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了pytorch训练神经网络爆内存的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要为大家介绍了pytest自动化测试中的fixture的声明和调用，文中含有详细示例操作有需要的朋友可以借鉴参考下，希望能够有所帮助2021-10-10
global是Python中的一个关键字用来,声明一个局部变量为全局变量,这里我们来以实例讲解Python中global语句下全局变量的值的修改,需要的朋友可以参考下.2016-06-06
这篇文章主要介绍了浅谈在JupyterNotebook下导入自己的模块的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
最新评论