爬虫的过程有些网站设置反盗链，需要我们在请求头中添加下，修改settings.py文件中添加
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
"Referer": "https://i.autohome.com.cn",
"Host": "i.autohome.com.cn",
}
具体的信息可以根据自己需求修改，注意这个设置是全局请求都要走这个配置；