有很多朋友在抓取百度内容的时候仅需要搜索结果中的链接,那么这个时候问题就来了,如果是正常抓取百度URL的话抓回来的是一个快照缓存链接,并不是我们想要的那个URL。
这里百度提供了一个json的接口,通过这个接口可以直接抓取网站的实际页面链接,一起来看
https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:www.814.net.cn
通过tn这个URL参数来选择json数据格式,下面我就抓取一下这个课程资源网的搜索结果,看看能抓到都是URL
import re
import requests
def result():
url = 'www.814.net.cn'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0'}
query = f'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:{url}'
r = requests.get(query, headers=headers).json()
link = r.get('feed').get('entry')
urls = []
for i in link:
siteurl = i.get('url')
urls.append(siteurl)
return urls
if __name__ == '__main__':
urls = result()
for i in urls:
print(i)
这个是我用到的一个小工具,输入一个域名可以抓取前50名的url链接,如果需要更多搜索结果可以通过pn参数来实现