脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python采集视频数据

Python爬虫采集微博视频数据

 更新时间：2021年12月03日 16:00:42   作者：松鼠爱吃饼干  
这篇文章主要介绍了利用Python爬虫采集微博的视频数据，文中有非常详细的代码示例,对正在学python的小伙伴们有很好地帮助,需要的朋友可以参考下

前言

随时随地发现新鲜事！微博带你欣赏世界上每一个精彩瞬间，了解每一个幕后故事。分享你想表达的，让全世界都能听到你的心声！今天我们通过python去采集微博当中好看的视频！

没错，今天的目标是微博数据采集，爬的是那些好看的小姐姐视频

知识点

requests

pprint

开发环境

版 本：python 3.8

-编辑器：pycharm 2021.2

爬虫原理

作用：批量获取互联网数据(文本, 图片, 音频, 视频)

本质：一次次的请求与响应

 案例实现

1. 导入所需模块

import requests
import pprint

2. 找到目标网址

打开开发者工具，选中Fetch/XHR，选中数据所在的标签，找到目标所在url

https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor

3. 发送网络请求

headers = {
    'cookie': '',
    'referer': 'https://weibo.com/tv/channel/4379160563414111/editor',
    'user-agent': '',
}
data = {
    'data': '{"Component_Channel_Editor":{"cid":"4379160563414111","count":9}}'
}
url = 'https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor'
json_data = requests.post(url=url, headers=headers, data=data).json()

4. 获取数据

json_data_2 = requests.post(url=url_1, headers=headers, data=data_1).json()

5. 筛选数据

dict_urls = json_data_2['data']['Component_Play_Playinfo']['urls']
video_url = "https:" + dict_urls[list(dict_urls.keys())[0]]
print(title + "\t" + video_url)

6. 保存数据

video_data = requests.get(video_url).content
with open(f'video\\{title}.mp4', mode='wb') as f:
    f.write(video_data)
print(title, "爬取成功................")

完整代码

import requests
import pprint

headers = {
    'cookie': '添加自己的',
    'referer': 'https://weibo.com/tv/channel/4379160563414111/editor',
    'user-agent': '',
}
data = {
    'data': '{"Component_Channel_Editor":{"cid":"4379160563414111","count":9}}'
}
url = 'https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor'
json_data = requests.post(url=url, headers=headers, data=data).json()
print(json_data)

ccs_list = json_data['data']['Component_Channel_Editor']['list']
next_cursor = json_data['data']['Component_Channel_Editor']['next_cursor']
for ccs in ccs_list:
    oid = ccs['oid']
    title = ccs['title']
    data_1 = {
        'data': '{"Component_Play_Playinfo":{"oid":"' + oid + '"}}'
    }
    url_1 = 'https://weibo.com/tv/api/component?page=/tv/show/' + oid
    json_data_2 = requests.post(url=url_1, headers=headers, data=data_1).json()
    dict_urls = json_data_2['data']['Component_Play_Playinfo']['urls']
    video_url = "https:" + dict_urls[list(dict_urls.keys())[0]]
    print(title + "\t" + video_url)

    video_data = requests.get(video_url).content
    with open(f'video\\{title}.mp4', mode='wb') as f:
        f.write(video_data)
    print(title, "爬取成功................")

 以上就是Python爬虫采集微博视频数据的详细内容，更多关于Python采集视频数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Python字符串格式化常用手段及注意事项

    Python字符串格式化常用手段及注意事项

    这篇文章主要介绍了Python字符串格式化常用手段,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Python使用BeautifulSoup进行页面解析

    Python使用BeautifulSoup进行页面解析

    在Python中,我们可以使用BeautifulSoup库来解析网页,BeautifulSoup提供了简单而强大的API,使得解析网页变得轻松而高效,下面小编就来为大家详细讲讲BeautifulSoup解析网页的具体操作吧
    2023-09-09
  • matplotlib调整子图间距,调整整体空白的方法

    matplotlib调整子图间距,调整整体空白的方法

    今天小编就为大家分享一篇matplotlib调整子图间距,调整整体空白的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-08-08
  • Python爬虫基于lxml解决数据编码乱码问题

    Python爬虫基于lxml解决数据编码乱码问题

    这篇文章主要介绍了Python爬虫基于lxml解决数据编码乱码问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • pycharm如何添加解释器

    pycharm如何添加解释器

    这篇文章主要介绍了pycharm如何添加解释器问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • pyqt5 从本地选择图片 并显示在label上的实例

    pyqt5 从本地选择图片 并显示在label上的实例

    今天小编就为大家分享一篇pyqt5 从本地选择图片 并显示在label上的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • 关于tensorflow和keras版本的对应关系

    关于tensorflow和keras版本的对应关系

    这篇文章主要介绍了关于tensorflow和keras版本的对应关系，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-06-06
  • Python实现PS图像调整黑白效果示例

    Python实现PS图像调整黑白效果示例

    这篇文章主要介绍了Python实现PS图像调整黑白效果,结合实例形式分析了Python实现PS图像的黑白效果原理与相关操作技巧,需要的朋友可以参考下
    2018-01-01
  • Python树的重建实现示例

    Python树的重建实现示例

    树的重建是一种从给定的遍历序列中恢复原树结构的算法,本文就来介绍一下Python树的重建实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2023-11-11
  • Python多线程实现支付模拟请求过程解析

    Python多线程实现支付模拟请求过程解析

    这篇文章主要介绍了python多线程实现支付模拟请求过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04

最新评论