python爬虫 urllib模块发起post请求过程解析
更新时间：2019年08月20日 11:17:55 作者：minger_lcm
这篇文章主要介绍了python爬虫 urllib模块发起post请求过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
urllib模块发起的POST请求
案例：爬取百度翻译的翻译结果
1.通过浏览器捉包工具，找到POST请求的url
针对ajax页面请求的所对应url获取，需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求，所对应的url
点击clear按钮可以把抓包工具，所抓到请求清空
然后填上翻译字条发送ajax请求，红色框住的都是发送的ajax请求
抓包工具All按钮代表 显示抓到的所有请求 ，包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求
哪个才是我们所要的基于ajax的POST请求，这个POST请求是携带翻译字条的苹果请求参数
再看看这个POST请求 对应的请求URL ，这个URL是我们要请求的URL
发起POST请求之前，要处理POST请求携带的参数 3步流程:
一、将POST请求封装到字典
二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
三、将步骤二的编码结果转换成byte类型
import urllib.request
import urllib.parse
# 1.指定url
url = 'https://fanyi.baidu.com/sug'
# 发起POST请求之前，要处理POST请求携带的参数 流程:
# 一、将POST请求封装到字典
data = {
# 将POST请求所有携带参数放到字典中
'kw':'苹果',
}
# 二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
data = urllib.parse.urlencode(data)
# 三、将步骤二的编码结果转换成byte类型
data = data.encode()
'''2. 发起POST请求:urlopen函数的data参数表示的就是经过处理之后的
POST请求携带的参数
'''
response = urllib.request.urlopen(url=url,data=data)
data = response.read()
print(data)
把拿到的翻译结果 去json在线格式校验(在线JSON校验格式化工具(Be JSON)),
点击格式化校验和unicode转中文
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python基于jieba库进行简单分词及词云功能实现方法,结合实例形式分析了Python分词库jieba以及wordcloud库进行词云绘制相关步骤与操作技巧,需要的朋友可以参考下2018-06-06
requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,下面这篇文章主要给大家介绍了关于python中requests库安装与使用的相关资料,需要的朋友可以参考下2022-07-07
Ubuntu下使用python读取doc和docx文档的内容方法
今天小编就为大家分享一篇Ubuntu下使用python读取doc和docx文档的内容方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05![python正则表达式匹配[]中间为任意字符的实例](//img.jbzj.com/images/xgimg/bcimg3.png)
今天小编就为大家分享一篇python正则表达式匹配[]中间为任意字符的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了python Canny边缘检测算法的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
类的继承可以看成对类的属性和方法的重用,能够大大的减少代码量,下面这篇文章主要给大家介绍了关于Python中类的继承的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-06-06
这篇文章主要为大家详细介绍了python实现远程通过网络邮件控制计算机重启或关机，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-02-02
这篇文章主要介绍了使用python如何将数据集划分为训练集、验证集和测试集问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要为大家详细介绍了python实现简单点对点p2p聊天，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-09-09
Django restframework 框架认证、权限、限流用法示例
这篇文章主要介绍了Django restframework 框架认证、权限、限流用法,结合实例形式详细分析了Djangorestframework 框架认证、权限、限流的具体使用方法及相关操作注意事项,需要的朋友可以参考下2019-12-12
![python正则表达式匹配[]中间为任意字符的实例](http://img.jbzj.com/images/xgimg/bcimg3.png)
最新评论