你会使用python爬虫抓取弹幕吗
前言
时隔108天，何同学在B站发布了最新的视频，《【何同学】我用108天开了个灯…》。那么就让我们用爬虫，爬取视频的弹幕，看看小伙伴们是怎么评价的吧
一、爬虫是什么？
百度百科这样说：自动获取网页内容的程序。在我理解看来，爬虫就是~~“在网络上爬来爬去的…”住口！~~
那么接下来就让我们看看如何养搬运B站弹幕的“虫”吧
二、饲养步骤
1.请求弹幕
首先，得知道爬取的网站url是什么。对于B站弹幕而言，弹幕所在位置是有固定格式的：
http://comment.bilibili.com/+cid+.xml
ok,那么问题来了，cid是什么呢？不用管是什么，我告诉你怎么获取。
1.打开视频后点击F12,切换到“网络”，在筛选器处填入“cid”进行筛选。
2.点击筛选出的网络信息，在右端Payload处找到cid
3.到此，我们就知道了何同学视频弹幕的网络链接：
http://comment.bilibili.com/499893135.xml
4.接着就是发送网络请求，获取网络页面资源。Python有很多发送网络请求的库。比如：
- urllib库
- requests库
我们用reaquests库演示
发送请求的代码如下
（示例）：
#【何同学】我用108天开了个灯......视频的cid：499893135 #弹幕所在地 url = "http://comment.bilibili.com/499893135.xml" #发送请求 req = requests.get(url = url) #获取内容响应的内容 html_byte = req.content #将byte转为str html_str = str(html_byte,"utf-8")
还有个值得提一下的地方是，发送请求的请求头可以加上，伪装自己是浏览器访问。可以通过header参数，加上user-agent，获取方式如下：
那么，代码就是下面这样了：
#假装自己是浏览器
header ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Edg/98.0.1108.43'
}
#【何同学】我用108天开了个灯......视频的cid：499893135
#弹幕所在地
url = "http://comment.bilibili.com/499893135.xml"
#发送请求
req = requests.get(url = url, headers=header)
#获取内容响应的内容
html_byte = req.content
#将byte转为str
html_str = str(html_byte,"utf-8")
2.解析弹幕
html_str是html文件的格式，我们需要对其进行处理，来获取我们想要的信息。这个时候，BeautifulSoup库就要闪亮登场了,我们用它来处理得到的html文件
代码如下（示例）：
#解析
soup = BeautifulSoup(html,'html.parser')
#找到html文件里的<d>标签
results = soup.find_all('d')
#把标签里的文本提取出来
contents = [x.text for x in results]
#存为字典
dic ={"contents" : contents}
contents就是弹幕字符串列表了，存成字典是为了下一步…
3.存储弹幕
把弹幕信息存储成excel，也有好多库可以用。比如：
- xlwt库
- pandas库
我们就用pandas库把
代码如下（示例）：
把用第二步得到的字典创建dataFrame，然后用pandas库的一个API存下就行了
#用字典创建了一个电子表格
df = pd.DataFrame(dic)
df["contents"].to_excel('htx.xlsx')
4.总代码
import requests
from bs4 import BeautifulSoup
import pandas as pd
def main():
html = askUrl()
dic =analyse(html)
writeExcel(dic)
def askUrl():
#假装自己是浏览器
header ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Edg/98.0.1108.43'
}
#【何同学】我用108天开了个灯......视频的cid：499893135
#弹幕所在地
url = "http://comment.bilibili.com/499893135.xml"
req = requests.get(url = url, headers=header)
html_byte = req.content#字节
html_str = str(html_byte,"utf-8")
return html_str
def analyse(html):
soup = BeautifulSoup(html,'html.parser')
results = soup.find_all('d')
#x.text表示要放到contents中的值
contents = [x.text for x in results]
#保存结果
dic ={"contents" : contents}
return dic
def writeExcel(dic):
#用字典创建了一个电子表格
df = pd.DataFrame(dic)
df["contents"].to_excel('htx.xlsx')
if __name__ == '__main__':
main()
三、总结
爬虫简单来说呢，就三步：
1.发送网络请求，获取资源
2.进行搜索等操作来获取有用信息
3.存储信息
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容！
相关文章
这篇文章主要介绍了Pycharm 如何设置HTML文件自动补全代码或标签，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了pytorch中使用cuda扩展的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
PyCharm出现Error:Python packaging tool 'setuptools&apo
这篇文章主要给大家介绍了关于PyCharm出现Error:Python packaging tool 'setuptools' not found的解决办法,文中通过图文及代码介绍的非常详细,需要的朋友可以参考下2023-12-12
python爬虫请求库httpx和parsel解析库的使用测评
这篇文章主要介绍了python爬虫请求库httpx和parsel解析库的使用测评，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-05-05
这篇文章主要介绍了Python3实现连接SQLite数据库的方法,在Python数据库编程中有着广泛的应用,需要的朋友可以参考下2014-08-08
本片文章主要给大家介绍了Git版本控制器的使用心得和技巧分享，需要的朋友学习参考下吧。2017-12-12
在神经网络准备训练集的时候，经常需要从文件夹中读取全部图片。经常遇到的有两种方式，一种是os.listdir()另一种是glob，本文结合示例代码对python获取文件夹中全部文件讲解的非常详细，需要的朋友参考下吧2023-01-01
今天小编就为大家分享一篇Python模块_PyLibTiff读取tif文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了pyinstaller使用大全,pyinstaller可以方便地将脚本编译成exe，本文结合实例代码给大家详细讲解，需要的朋友可以参考下2023-02-02
队列是一种只允许在一端进行插入操作，而在另一端进行删除操作的线性表。这篇文章主要介绍了Python中的四种队列,需要的朋友可以参考下2018-05-05
最新评论