python简单爬虫--get方式详解
更新时间：2021年09月09日 11:18:27 作者：赵赵要加油啊
本篇文章介绍了python爬虫中get和post方法介绍以及cookie作用，对此有兴趣的朋友学习下，希望能够给你带来帮助
简单爬虫可以划分为get、post格式。其中，get是单方面的获取资源，而post存在交互，如翻译中需要文字输入。本文主要描述简单的get爬虫。
环境准备
安装第三方库
pip install requests pip install bs4 pip install lxml
进行爬虫
1.获取网页数据。
import requests from bs4 import BeautifulSoup url = "https://cn.bing.com/search?q=爬虫CSDN&qs=n&form=QBRE&sp=-1&pq=爬虫csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/" response = requests.get(self.url)
2.解析网页数据
soup = BeautifulSoup(response.text, 'lxml')
3.选取目标数据。此处key 依据源代码目标标题的位置确定。首先进入开发者模式，后查看目标在html中的位置，右击选择“复制selector”，见下图。
key = "#b_results > li > div.b_title > h2 > a" soup.select(key)
4.清洗数据
result = {}
for i, item in enumerate(data):
result.update({
f'title_{i}': item.get_text(),
f'url_{i}': item.get('href')
})
print(result)
参考
链接:https://www.jb51.net/article/152560.htm
总结
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容！
相关文章
Python 有 while 语句和 for 语句作为循环处理。虽然 for 语句具有一定数量的进程，但 while 语句是直到满足条件类型的循环进程。本文将详解while无限迭代循环方法，需要的可以了解一下2022-04-04
Python通过TensorFLow进行线性模型训练原理与实现方法详解
这篇文章主要介绍了Python通过TensorFLow进行线性模型训练原理与实现方法,结合实例形式详细分析了Python通过TensorFLow进行线性模型训练相关概念、算法设计与训练操作技巧,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了Python unittest单元测试框架及断言方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
python3应用windows api对后台程序窗口及桌面截图并保存的方法
今天小编就为大家分享一篇python3应用windows api对后台程序窗口及桌面截图并保存的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了python 比较字典value的最大值，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了python如何使用jt400.jar包代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了Cpython3.9源码解析python中的大小整数,在CPython中，小整数对象池是一种优化机制，用于减少对常用小整数的内存分配和销毁开销,需要的朋友可以参考下2023-04-04
最近在学习python网络编程这一块，在写简单的socket通信代码时，遇到了struct这个模块的使用，当时不太清楚这到底有和作用，后来查阅了相关资料大概了解了，这篇文章就主要介绍了Python中struct模块对字节流/二进制流的操作,需要的朋友可以参考借鉴。2017-01-01
今天小编就为大家分享一篇使用实现XlsxWriter创建Excel文件并编辑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
Diagrams 是一个基于Python绘制云系统架构的模块，它能够通过非常简单的描述就能可视化架构。本文将利用它绘制漂亮的系统架构图，感兴趣的可以了解一下2023-01-01
最新评论