python基于selenium爬取斗鱼弹幕

 更新时间:2021年02月20日 16:17:21   作者:Martina_oh  
这篇文章主要介绍了python如何基于selenium爬取斗鱼弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下

针对弹幕的爬取我们如果只需要获取看到的网页里面的而数据,使用selenium就能实现,对于直播平台来说,往往有第三方平台api让你获取数据(可以获取发弹幕,发弹幕者的名字礼物等等,这需要客户端向弹幕服务器发送登录请求,心跳信息的发送等等)只获取弹幕信息储存到txt文件中,上代码,上图片

代码如下:

import time
from selenium import webdriver

chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'


def getDanmu(homeId):
  homeHref = url+str(homeId)
  browser.get(homeHref)

  while 1: 
    time.sleep(2)
    try:
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue
    except:
      time.sleep(2)
      for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
        if len(i.text) > 0:
          try:
            print(i.text)
          except:
            pass
          saveDanmu(i.text)
        else:
          continue


def saveDanmu(danmu):
  with open('danmu.txt', 'a+', encoding='utf-8')as f:
    f.write(danmu+'\n')

if __name__ == '__main__':
  num = input('请输入需要查询的房间号:')
  getDanmu(num)

以上就是python基于selenium爬取斗鱼弹幕的详细内容,更多关于python 爬取斗鱼弹幕的资料请关注脚本之家其它相关文章!

相关文章

  • 利用PyQT5日期控件制作一个小日历

    利用PyQT5日期控件制作一个小日历

    这篇文章主要介绍了利用PyQT5的日期控件制作一个小日历,因为pyqt5已经自带了相关的日期控件,只需要明白如何调用再加上比较个性化的功能,这个日历的小控件就制作完成了。需要的可以参考一下
    2022-01-01
  • Python Django2 model 查询介绍(条件、范围、模糊查询)

    Python Django2 model 查询介绍(条件、范围、模糊查询)

    这篇文章主要介绍了Python Django2 model 查询介绍(条件、范围、模糊查询),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Python协程的2种实现方式分享

    Python协程的2种实现方式分享

    在 Python 中,协程(Coroutine)是一种轻量级的并发编程方式,可以通过协作式多任务来实现高效的并发执行。本文主要介绍了Python实现协程的2种方式,希望对大家有所帮助
    2023-04-04
  • 如何使用Python的Requests包实现模拟登陆

    如何使用Python的Requests包实现模拟登陆

    这篇文章主要为大家详细介绍了使用Python的Requests包模拟登陆,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • python opencv 图像处理之图像算数运算及修改颜色空间

    python opencv 图像处理之图像算数运算及修改颜色空间

    这篇文章主要介绍了python opencv 图像处理之图像算数运算及修改颜色空间,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的朋友可以参考一下
    2022-08-08
  • python 异步async库的使用说明

    python 异步async库的使用说明

    这篇文章主要介绍了python 异步async库的使用说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • 用python监控服务器的cpu,磁盘空间,内存,超过邮件报警

    用python监控服务器的cpu,磁盘空间,内存,超过邮件报警

    这篇文章主要介绍了如果用python监控服务器的cpu,磁盘空间,内存,超过邮件报警,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2021-01-01
  • 深入剖析Python的列表和元组

    深入剖析Python的列表和元组

    这篇文章主要介绍了深入剖析Python的列表和元组,Python有4个内建的数据结构,它们可以统称为容器,因为它们实际上是一些“东西”组合而成的结构,而这些“东西”,可以是数字、字符甚至列表,或是它们的组合,需要的朋友可以参考下
    2023-07-07
  • Python3爬虫学习之将爬取的信息保存到本地的方法详解

    Python3爬虫学习之将爬取的信息保存到本地的方法详解

    这篇文章主要介绍了Python3爬虫学习之将爬取的信息保存到本地的方法,结合实例形式详细分析了Python3信息爬取、文件读写、图片存储等相关操作技巧,需要的朋友可以参考下
    2018-12-12
  • python提取文件中特定字符串方法实例

    python提取文件中特定字符串方法实例

    今天搞了一天的文本处理,发现python真的太适合做数据处理了,下面这篇文章主要给大家介绍了关于python提取文件中特定字符串的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-06-06

最新评论