哔哩哔哩众所周知是弹幕的天堂，视频观看人数越多，弹幕也就越多。今天小千就来教大家如何去使用Python开发一个爬虫来爬取B站的弹幕数据。

1、弹幕哪里找？

平常我们在看视频时，弹幕是出现在视频上的。实际上在网页中，弹幕是被隐藏在源代码中，以XML的数据格式进行加载的：

XML和JSON、YAML一样是一种通用的标记信息表达方式，可以简单的理解为一种记录数据的格式。XML和描述网页的语言HTML非常像，所以你会在截图中看到<d></d>这样的标签。

那么上图这个弹幕文件的url是什么呢？

https://comment.bilibili.com/92542241.xml

它以一个固定的url地址+视频的cid+.xml组成。只要找到你想要的视频cid，替换这个url就可以爬取所有弹幕了（b站大部分网页给出的字幕限制是1000条）。

一个视频的cid在哪里呢？右键网页，打开网页源代码，搜索cid”就能找到：

cid在网页源码中是一个很常见的词组，而我们要寻找的正确的cid都会写成"cid":xxxxxxxx的形式。为了缩小搜索范围，在后方加上一个引号会更快搜索到。

有了正确的cid，拼好url，我们就来写爬虫吧！

2、爬虫库到底是什么？

基本所有初学Python爬虫的人都会接触到requests、BeautifulSoup这两个工具库，这是两个常用基础库。requests用于向网站url发起请求，以获取网页代码；BeautifulSoup用于将HTML/XML内容解析，并提取里面的重要信息。

这两个库模拟了人访问网页，读懂网页并复制粘贴出对应信息的过程，能够批量地、快速地完成数据爬取。

3、开始爬取

观察网页，可以发现，所有的弹幕都放在了<d>标签下，那么我们需要构建一个程序获取所有的<d>标签：

第一步，导入requests库，使用request.get方法访问弹幕url:

import requests

#获取页面数据html

url=r'https://comment.bilibili.com/78830153.xml'

r=requests.get(url)#访问url

r.encoding='utf8'

第二步，导入BeautifulSoup库，使用lxml解析器解析页面:

from bs4 import BeautifulSoup

#解析页面

soup=BeautifulSoup(r.text,'lxml')#lxml是常用的解析器，需要提前使用pip工具安装lxml库

d=soup.find_all('d')#找到所有页面的d标签

#print(d)

这样操作后，所有藏在d标签里的弹幕内容就被python抓取到了 :

#解析弹幕,将弹幕、网址、时间整理为字典，最后加和成列表，共1000条数据

数据整理之后我们还可以进行分析，例如词汇量出现频率等等，这个可以根据需求来*处理即可。

本文来自千锋教育，转载请注明出处。