1.爬取目标的url
2.是否是异步加载的，判断方式有很多，这里随便说1种。检查网页源码，查找想要的数据，看是否有，如果没有就是异步加载
这里没找到，可以判定时异步加载
3.找到真正的请求网页，通过在Network的Search里面搜索想要的数据，得到真正的url
4.解析Preview(也就是json)的数据
这里可以获取我们想要的数据
5.用xls表格保存数据
好，我们开始写代码
1 import xlwt
2 import requests
3
4
5 # 功能：实现B站番剧排名的爬取
6
7
8 def main():
9 datalist = askUrl()
10 saveData(datalist) # 保存数据
11
12
13 def askUrl():
14 url = "https://api.bilibili.com/pgc/season/index/result"
15 headers = {
16 "User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
17 }
18 datalist = []
19 for page in range(1,157):
20 params = {
21 'st': '1',
22 'order': '2',
23 'season_version': '-1',
24 'area': '-1',
25 'is_finish': '-1',
26 'copyright': '-1',
27 'season_status': '-1',
28 'season_month': '-1',
29 'year': '-1',
30 'style_id': '-1',
31 'sort': '0',
32 'page': str(page),
33 'season_type': '1',
34 'pagesize': '20',
35 'type': '1',
36 }
37 response = requests.get(url, params=params, headers=headers)
38 html = response.json()
39 data = html["data"]["list"] # 数据位置
40 for anime in data:
41 data = []
42 title = anime["title"] # 番剧名字
43 data.append(title)
44
45 episode = anime["index_show"] # 番剧集数
46 data.append(episode)
47
48 link = anime["link"] # 番剧链接
49 data.append(link)
50
51 playVolume = anime["order"] # 番剧播放量
52 data.append(playVolume)
53
54 ifVip = anime["badge"] # 是否会员专享
55 if ifVip == "":
56 data.append("不是会员专享")
57 else:
58 data.append(ifVip)
59
60 datalist.append(data) # y一部番剧的所有信息
61 print("第%d页已爬取完毕!"%page)
62 return datalist
63
64
65 def saveData(datalist):
66 savepath = "B站番剧排名.xls" #表格路径
67 workbook = xlwt.Workbook(encoding="utf-8") # 创建workbook对象
68 # 创建一个worksheet对象,第二个参数是指单元格是否允许重设置，默认为False
69 worksheet = workbook.add_sheet(savepath,cell_overwrite_ok=True) # 创建工作表
70 col = ("番剧名字","番剧集数","番剧链接","番剧播放量","番剧是否会员专享")
71 for i in range(0,5):
72 # 设置列宽，计算列宽度：256是单元格基数*用数据长度*2最终的结果单元格的宽度和数据正好填满
73 # worksheet.col(i).width = 256 * len(col[i]) * 2 # 自适应列宽
74 worksheet.write(0,i,col[i]) # 第一行的数据（列名）
75 for i in range(0,3119): # 第几行
76 data = datalist[i]
77 for j in range(0,5): # 第几列
78 worksheet.write(i+1,j,data[j])
79 workbook.save(savepath)
80
81
82 if __name__ == '__main__':
83 main()
最后得到我们想要的数据
2021-10-30