Python爬虫基础之requestes模块
更新时间：2021年04月26日 09:59:57 作者：世界的隐喻
这篇文章主要介绍了Python爬虫基础之requestes模块,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有非常好的帮助,需要的朋友可以参考下
一、爬虫的流程
开始学习爬虫，我们必须了解爬虫的流程框架。在我看来爬虫的流程大概就是三步，即不论我们爬取的是什么数据，总是可以把爬虫的流程归纳总结为这三步：
1.指定 url,可以简单的理解为指定要爬取的网址
2.发送请求。requests 模块的请求一般为 get 和 post
3.将爬取的数据存储
二、requests模块的导入
因为 requests 模块属于外部库，所以需要我们自己导入库
导入的步骤：
1.右键Windows图标
2.点击“运行”
3.输入“cmd”打开命令面板
4.输入“pip install requests”,等待下载完成
如图：
如果还是下载失败，我的建议是百度一下，你就知道（我也是边学边写，是在是水平有限）
欧克，既然导入成功后我们就简单的来爬取一下搜狗的首页吧！
三、完整代码
import requests
if __name__ == "__main__":
# 指定url
url = "https://www.sougou.com/"
# 发起请求
# get方法会返回一个响应数据
response = requests.get(url)
# 获取响应数据
page_txt = response.text # text返回一个字符串的响应数据
# print(page_txt)
# 存储
with open("./sougou.html", "w", encoding = "utf-8") as fp:
fp.write(page_txt)
print("爬取数据结束！！！")
我们打开保存的文件，如图
欧克，这就是最基本的爬取，如果学会了，那就试一试爬取 B站 的首页吧。
到此这篇关于Python爬虫基础之requestes模块的文章就介绍到这了,更多相关Python requestes模块内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python自动结束mysql慢查询会话,主要涉及到了mysql慢查询会话查询，定时任务的相关知识，本文通过实例代码给大家介绍的非常详细，需要的朋友可以参考下2019-10-10
这篇文章主要介绍了tensorflow中的数据类型dtype用法说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了简单了解Pandas缺失值处理方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了python遍历目录的方法,总结分析了Python常用的两种目录遍历技巧,需要的朋友可以参考下2016-04-04
使用Python matplotlib绘制简单的柱形图、折线图和直线图
Matplotlib是Python的绘图库, 它可与NumPy一起使用,提供了一种有效的MatLab开源替代方案,下面这篇文章主要给大家介绍了关于使用Python matplotlib绘制简单的柱形图、折线图和直线图的相关资料,需要的朋友可以参考下2022-08-08
这篇文章主要介绍了Python实现定时执行任务的三种方式,结合简单实例形式分析了Python使用time,os,sched等模块定时执行任务的相关操作技巧,需要的朋友可以参考下2019-03-03
这篇文章主要介绍了简单了解python字符串前面加r,u的含义,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
Matplotlib是Python的一个很好的绘图包，但是其本身并不支持中文（貌似其默认配置中没有中文字体），所以如果绘图中出现了中文，就会出现乱码2017-05-05
这篇文章主要介绍了python实战技巧之去除列表中的空值元素,搜集针对python高效处理数据的核心代码，今天是实现去除列表中的空值元素，需要的朋友可以参考下2023-02-02
这篇文章主要为大家介绍了Python实现原神抽卡的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
最新评论