Python爬虫实战之爬取携程评论
一、分析数据源
这里的数据源是指html网页？还是Aajx异步。对于爬虫初学者来说，可能不知道怎么判断，这里辰哥也手把手过一遍。
提示：以下操作均不需要登录（当然登录也可以）
咱们先在浏览器里面搜索携程，然后在携程里面任意搜索一个景点：长隆野生动物世界，这里就以长隆野生动物世界为例，讲解如何去爬取携程评论数据。
页面下方则是评论数据
从上面两张图可以看出，点击评论下一页，浏览器的链接没有变化，说明数据是Ajax异步请求。因此我们就找到了数据是异步加载过来的，这时候需要去network里面是查看数据包。
二、分析数据包
在network中找到下面这个数据包
查看Preview里面的内容（请求返回内容）
可以看到数据已经请求到了，下面看一下数据是否是正确的（和网页内容一致）。
ok，没问题之后，下面开始编写Python程序去请求数据。
1.请求地址
可以获取到请求链接和请求方式。
这里请求不用添加请求头header也是可以的。其中postUrl是请求链接，data_1是请求参数。
2.请求参数
在network里可以看到请求参数
在程序中的构建如下：
其中需要关注的是arg中的pageIndex（页数），pageSize（每页条数）。
最终结果如下：
该景点的评论就可以成功爬取下来了。
三、采集全部评论
上面只是采集了第一页的评论数据，通过改变arg中的pageIndex（页数），就可以遍历爬取全部的评论。
比如这个景点一共是300页。现在把循环给加上
最终的完整代码如下：
到此这篇关于Python爬虫实战之爬取携程评论的文章就介绍到这了,更多相关Python爬取携程评论内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python 如何去除字符串头尾的多余符号，在python开发中经常会遇到这样的需求，今天小编通过实例代码给大家讲解,需要的朋友可以参考下2019-11-11
本篇将使用200行代码完成一个微型异步非阻塞Web框架：Snow。具有很好的参考价值，下面跟着小编一起来看下吧2017-03-03
这篇文章主要介绍了Scrapy框架基本命令与settings.py设置,结合实例形式分析了创建爬虫项目、创建爬虫文件、存储、打开网页及settings.py设置等相关操作技巧,需要的朋友可以参考下2020-02-02
在Python中,打包和解包参数是一种操作方式,可以将多个参数打包成一个元组或字典,也可以将一个元组或字典解包成多个参数,本文就来介绍一下如何使用2023-09-09
pytho matplotlib工具栏源码探析一之禁用工具栏、默认工具栏和工具栏管理器三种模式的差异
这篇文章主要介绍了pytho matplotlib工具栏源码探析一之禁用工具栏、默认工具栏和工具栏管理器三种模式的差异,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
这篇文章主要介绍了使用Python写一个贪吃蛇游戏实例代码，非常不错，具有参考借鉴价值，需要的朋友参考下吧2017-08-08
Python机器学习NLP自然语言处理Word2vec电影影评建模
本文是Python机器学习NLP自然语言处理系列文章，带大家开启一段学习自然语言处理 (NLP) 的旅程. 本篇文章主要学习NLP自然语言处理基本操作Word2vec电影影评建模2021-09-09
这篇文章主要介绍了python接口自动化框架实战，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
这篇文章主要为大家介绍了Python中的模式匹配库Pampy使用实例解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了Pandas分组与排序的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
最新评论