在爬虫爬取过程中，网站会根据我们的IP和UA去确认到底是浏览器操作还是爬虫在操作，所以，为了让爬虫不被网站禁止，随机切换Ip 和UA是很重要的，因为这个类在各个爬虫中经常要用到，所以可以自已维护一份随机切换IP和UA的代码，
可以在爬虫工程目录中加入tools这个目录，这个目录中存放着这个爬虫所用到的一些工具，
目录结构如下：
get_ip.py 代码如下：
import requests
import pymysql class GetIp(object):
"""从数据库中取出可用的IP给爬虫使用"""
conn = pymysql.connect(host="127.0.0.1", user="root", password="root", db="outback")
cursor = conn.cursor() def get_random_ip(self):
select_sql = "select ip,port,type from ip_proxy ORDER by rand() limit 1" result = self.cursor.execute(select_sql)
for ip_info in self.cursor.fetchall():
ip = ip_info[0]
port = ip_info[1]
type = ip_info[2].lower()
judge_result = self.judge_ip(type, ip, port, )
if judge_result:
# 这里不能关闭连接，因为每一个请求都会云获取一个IP，如果关了，就只能获取一个
# self.cursor.close()
# self.conn.close() return "{0}://{1}:{2}".format(type, ip, port)
else:
self.get_random_ip() def judge_ip(self, type, ip, port):
"""验证IP是否可用，如果可以用，则返回，不可用，则删除数据库中的该IP"""
baidu = "https://www.baidu.com"
proxy_url = "{0}://{1}:{2}".format(type, ip, port)
try:
proxy_dict = {type:proxy_url,}
response = requests.get(baidu, proxies=proxy_dict)
except Exception as e:
print("invalid in or port ")
self.delete_ip(ip)
return False
else:
code = response.status_code
if code >= 200 and code < 300:
print("effective ip,the ip is",proxy_url)
return True
else:
print("invalid iP ")
self.delete_ip(ip)
return False def delete_ip(self, ip):
delete_sql = """delete FROM ip_proxy where ip='{0}'""".format(ip)
try:
self.cursor.execute(delete_sql)
self.conn.commit()
except Exception as e:
print(e) if __name__ == "__main__":
get_ip = GetIp()
ip = get_ip.get_random_ip()
print(ip)
之后在middlewares.py 中进行设置，
middlewares.py代码如下：
from taobao.tools.get_ip import GetIp class RandomProxyMiddleware(object):
#动态设置ip代理
def process_request(self, request, spider):
get_ip = GetIP()
request.meta["proxy"] = get_ip.get_random_ip()
这样就可以使scrapy 动态的随机更换IP
二 随机更换UA，
自己可以在settings中维护一个ua池，然后随机切换，但是这样有个不好的地方是，自已维护UA池很麻烦，还在定期查看这些UA是否可用，网上有个开源的库 fake-useragent
这个库动态的管理着很多UA，可以使用。
用法如下：
from scrapy import signals
from fake_useragent import UserAgent class RandomUserAgentMiddleware(object):
"""使用爬虫使用随机的Ip 和 UA""" def __init__(self, crawler):
self.ua = UserAgent()
self.ua_type = crawler.settings.get("USER_AGENT_TYPE", "random")
super(RandomIpAndUserAgentMiddleware, self).__init__() @classmethod
def from_crawler(cls, crawler):
return cls(crawler) def process_request(self, request, spider):
def get_ua():
return getattr(self.ua, self.ua_type) request.headers.setdefault('User-Agent', get_ua())
其实上边两个类可写成一个类，这个在ｓｅｔｔｉｎｇｓ中只设置一个类就行了，代码如下：
from scrapy import signals
from fake_useragent import UserAgent
from taobao.tools.get_ip import GetIp def process_request(self, request, spider):
def get_ua():
return getattr(self.ua, self.ua_type)
request.headers.setdefault('User-Agent', get_ua())
get_ip = GetIP()
request.meta["proxy"] = get_ip.get_random_ip()
上面代码中有几个非常重要的，也是很容易出错的地了，
一、老师，前辈们经常会说，文件打开记得关闭，数据库连接后记得断开连接，但是在GetIp这个类中不能断开数据库（我在这里也卡了），因为ｓｃｒａｐｙ是随机取IP，也就意味着ｓｃｒａｐｙ对每次请求（也可能是每几次请求）就会去数据库中取IP，所以如果在GetIp这个类中就断开连接后，也就是只能取一次，下次就不能取了，所以GetIp这个类中不能断开连接，可以使用ｓｃｒａｐｙ 信号，当爬虫关闭的时候断开连接。所以GetIp类不连接数据而没有断开连接是没有错的。
二，西刺的IP很慢，所以还是珍惜自已的IP，友好爬取，