Python+Selenium实现短视频热点爬取
随着短视频的大火，不仅可以给人们带来娱乐，还有热点新闻时事以及各种知识，刷短视频也逐渐成为了日常生活的一部分。本文以一个简单的小例子，简述如何通过Pyhton依托Selenium来爬取短视频，仅供学习分享使用，如有不足之处，还请指正。
涉及知识点
1.selenium，作为浏览器端一个自动化测试工具，可以模拟用户操作浏览器的动作，就像是人自己操作浏览器一样。关于selenium的具体信息如下
- Selenium进行元素定位，主要有ID，Name，ClassName，Css Selector，Partial LinkText，LinkText，XPath，TagName等8种方式。
- Selenium获取单一元素（如：find_element）和获取元素数组（如：find_elements）两种方式。
- Selenium元素定位后，可以给元素进行赋值和取值，或者进行相应的事件操作（如：click）。
2.requests，web请求对象，通过selenium获取到视频的url后，再通过requests库进行视频流的获取，然后保存成本地视频文件。
3.浏览器开发者工具，通过开发者工具可以查看页面上某一个按钮或链接等页面元素对应的html标识。
目标分析
在爬取视频之前，需要分析目标结构，本视频爬取分析可分为三步，具体如下所示：
1. 分析热榜目录
热榜目录是一个ul标签，每一个热榜对象一个li子标签，分别包含热度，标题等内容。点击标题链接可以进入具体视频播放页面，目标分析如下所示：
2.分析视频播放页面
视频在video标签中播放，短视频播放的真实地址，在video的source子标签中，且为了保证播放质量，video下有三个source，任取其一即可，如下所示：
3. 分析弹出框
在爬取过程中，经过弹出需要登录的窗口，需要及时关闭掉，否则可能会导致找不到页面元素，从而爬取不成功。如下所示：
核心代码
经过以上分析，就可以编写爬虫代码了，如下所示：
1. 遍历热点目录
通过获取页面上对应的信息，解析出热点视频的目录，如下所示：
self.__driver.get(self.__url)
self.close_popup_window()
# 4. 最大化窗口
self.__driver.maximize_window()
time.sleep(self.__wait_sec)
# 打开以后，根据class=BHgRhxNh获取ul下的li
if self.checkIsExistsByClass(cls='BHgRhxNh'):
# 获取
hots = self.__driver.find_elements(by=By.CLASS_NAME, value='BHgRhxNh')
hot_infos = []
index = 0
for hot in hots:
hot_info = {}
a = hot.find_element(by=By.TAG_NAME, value='a')
href = a.get_attribute("href")
text = a.text
hot_info['url'] = href
hot_info['text'] = text
if index > 0:
div = hot.find_element(by=By.CLASS_NAME, value='GsuT_hjh')
if div is not None:
hot_value = div.find_element(by=By.TAG_NAME, value='span').text
hot_info['value'] = hot_value
hot_infos.append(hot_info)
index = index + 1
print(hot_infos)2. 获取真实短视频url
打开单个热点视频的url，并解析真实短视频播放url，如下所示：
def open_video_html(self, url):
"""打开具体视频的页面"""
self.__driver.get(url=url)
time.sleep(1)
self.close_popup_window() # 关闭弹窗
video = self.__driver.find_element(by=By.TAG_NAME, value='video')
source = video.find_element(by=By.TAG_NAME, value='source')
src = source.get_attribute('src')
return src3. 下载视频
获取真实的url后，即可进行下载，如下所示：
def download_video(self, url, video_name):
"""根据视频源地址进行下载"""
if os.path.exists(video_name):
# 如果已重新下载过，则不需要再次下载
return
else:
with open(video_name, 'wb') as fp:
fp.write(requests.get(url).content)4. 关闭弹出的登录窗口
在爬取过程中，经常弹出需要登录的遮罩窗口，需要进行关闭，如下所示：
def close_popup_window(self):
try:
login = self.__driver.find_element(by=By.ID, value='login-pannel')
if login is not None:
login.find_element(by=By.CLASS_NAME, value='dy-account-close').click()
except BaseException as e:
pass
try:
login = self.__driver.find_element(by=By.CLASS_NAME, value='GaDkStRD')
if login is not None:
btns = login.find_elements(by=By.TAG_NAME, value='button')
for btn in btns:
if btn.text == '取消':
btn.click()
break
except BaseException as e:
pass5. 保存日志
在爬取成功后，对爬取的短视频的相关内容进行保存，如下所示：
def save_data(self, hot_infos):
"""
保存数据
:param res_list: 保存的内容文件
:return:
"""
t = time.strftime("%Y-%m-%d", time.localtime())
with open(f'logs[{t}].json', 'a', encoding='utf-8') as f:
res_list_json = json.dumps(hot_infos, ensure_ascii=False)
f.write(res_list_json)示例截图
程序开发完成后，运行示例如下所示：
爬取的视频保存在download目录下，如下所示：
总结
为什么会采用selenium进行本次短视频的爬取，而不直接采用requests库，原因如下：
- 在对目标网站进行分析的过程中，发现目标网站采用异步调用的方式数据获取，即网址请求获取的只是空壳，并没有真实的数据。
- 在对异步接口调用的url进行分析时发现，很多接口的url都具有时效性及有效性验证，如token，时间戳等，构造起来相当麻烦。
由于以上两点原因，结合selenium的特点及优势，所以最终采用selenium进行此次爬虫的最佳选择。
以上就是Python+Selenium实现短视频热点爬取的详细内容，更多关于Python Selenium热点爬取的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家介绍了Python 虚拟机字典dict内存优化方法解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要给大家介绍了关于Django后端按照日期查询的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了 Python 中 logging 模块使用，在我们写程序时，可以借助 logging 模块的输出信息来调试代码，下文章关于 logging 模块的使用相关内容，需要的小伙伴可以参考一下2022-03-03
这篇文章主要介绍了收集的几个Python小技巧分享,如获得当前机器的名字、获取当前工作路径、获取系统的临时目录等,需要的朋友可以参考下2014-11-11
Python Pillow 图像处理库详解(常用Pillow函数及其参数)
Pillow,原名PIL（Python Imaging Library）,是一个功能强大的Python图像处理库,支持多种格式,提供丰富的图像操作功能,如旋转、缩放、颜色转换等,以及易于使用的API,Pillow支持广泛的图像文件格式,并提供图像过滤、绘制等功能2024-09-09
这篇文章主要介绍了Python flask框架post接口调用,结合实例形式分析了基于flask框架的post、get请求响应及接口调用相关操作技巧,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了python实现web方式logview的方法,涉及Python基于web模块操作Linux命令的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-08-08
这篇文章主要介绍了Python实现模拟登录及表单提交的方法,涉及Python正则匹配、cookie及URL操作的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了Python用内置模块来构建REST服务与RPC服务实战，python在网络方面封装一些内置模块，可以用很简洁的代码实现端到端的通信，比如HTTP、RPC服务，下文实战详情，需要的朋友可以参考一下2022-09-09
Python 文件操作之读取文件(read)，文件指针与写入文件(write)，文件打开方式示例
这篇文章主要介绍了Python 文件操作之读取文件(read)，文件指针与写入文件(write)，文件打开方式,结合实例形式分析了Python文件读写相关的指针、打开方式等相关操作技巧,需要的朋友可以参考下2019-09-09
最新评论