注：爬虫仅可用于娱乐学习，不可用于商业用途（小心牢饭）
最近闲来无事，想要爬取知乎内容玩一玩，奈何最近知乎又更新了反爬机制！不管我用啥方法都获取不到首页html和json内容，于是乎转战B站。（若有哪位大佬知道最新知乎解密方式望指点一下）
看到网上好多教程都是爬取热榜，今天想尝试一下搜索关键词爬取所有相关内容（思路是一致的）

进入开发者工具寻找内容

以搜索“原神”为例：
火狐：设置->更多工具->web开发者工具（Ctrl+shift+l）
Microsoft Edge：F12快捷键
在弹出的页面内依次点击以下框：在搜索框搜索包含视频信息的url，这里以某一视频八重神子实机演示为例搜索：
找到记录这一页视频信息的url，进入消息头

获取相应参数

复制保存消息头中的url,Cookie,User-Agent信息
注：Cookie不要全都复制，复制一部分就行（到某一部分分号之前）

点击GET中链接，可以看到记录的json格式信息：
可以根据自己的需要在代码中获取哪一部分
里面有每个视频标题，简介，播放量，关注量，作者id等

爬取一页内容

import requests, json
import pandas as pd

url = '放入你的需要爬取的url'
headers = {
    'Host': 'api.bilibili.com',
    'user-agent': '你的user-agent',
    'Cookie': '你的Cookie'
}

title_list, like_list, play_list = [],[],[]

def getdata():
    res = requests.get(url, headers=headers).content.decode('utf-8')
    jsonfile = json.loads(res)
    if (jsonfile['data']):
    		# 爬取内容，根据你想要的内容更改列表和标签
        for content in jsonfile['data']['result']:
            title_list.append(content['title'])
            like_list.append(content['like'])
            play_list.append(content['play'])

getdata()
data1 = {
    '标题': title_list,
    '播放量': play_list,
    '点赞量': like_list
}
dataframe = pd.DataFrame(data=data1)
dataframe.to_excel('./数据.xlsx', index=False, encoding='utf-8')
print("end")

爬取多页内容

自己可以尝试一下翻页，翻页之后url发生变化
下面对其url解析一下：

GET
	https://api.bilibili.com/x/web-interface/search/all/v2?context=&page=1&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0

我们可以发现第一页page=1，第二页page=2，其余内容不发生改变
因此我们想要翻页爬取的时候只需要把page改变就可以了

首先把url中的page拿出来&page=1
这时url只有https://api.bilibili.com/x/web-interface/search/all/v2?context=&order=&keyword=原神&duration=&tids_1=&tids_2=&from_source=web_search&from_spmid=333.337&platform=pc&__refresh__=true&_extra=&highlight=1&single_column=0
每次解析完一页，page+1就可以了

import requests, json
import pandas as pd

url = '放入你的需要爬取的url(去掉page)'  # 去掉
headers = {
    'Host': 'api.bilibili.com',
    'user-agent': '你的user-agent',
    'Cookie': '你的Cookie'
}

title_list, like_list, play_list = [],[],[]


def getdata(start):
		# 用于输入当前页数
    data = {
        'page': start
    };
    # 读取url中数据
    res = requests.get(url, headers=headers, data=data).content.decode('utf-8')
    # 变为json格式数据
    jsonfile = json.loads(res)
    # 根据自己需求改变下列内容
    if (jsonfile['data']):
        for content in jsonfile['data']['result']:
            title_list.append(content['title'])
            like_list.append(content['like'])
            play_list.append(content['play'])

				# 输出爬取页过程
        print('page'+str(start))
        # 因为每一页最多存放20个视频，判断如果这一页有20个视频，说明还可能有下一页，然后再爬下一页
        if len(jsonfile['data']['result']) == 20:
            getdata(start + 1)

# 从第一页开始获取数据
getdata(1)
Data = {
    '标题': title_list,
    '播放量': play_list,
    '点赞量': like_list
}
dataframe = pd.DataFrame(data=Data)
dataframe.to_excel('./数据2.xlsx', index=False, encoding='utf-8')
print("end")