目标反爬虫怎么办?实践出真知-scrapy集成动态ip代理(以阿布云为例)

360截图20180712215548501.jpg

一、前言

在爬虫行当,每天都要面对目标反爬虫技术,我们想要拿到数据,就需要针对它们的反爬虫来制定绕过方法,比如它识别你的UserAgent,那你可能就需要伪造、它限制IP请求次数,你可能就需要限速或者改变ip、它用验证码来识别你是人是机,你就需要模拟人的操作并且正确填写它给你弹出的验证码等等。

这里我以实际项目举例:有个项目需要爬取中国证券协会,对方使用的反爬虫手段中就有IP请求次数的限制,因为我需要的数据比较多,而且目标的数据很绕,所以我紧紧降低我爬虫的速度我觉得对我影响很大,所以我选择通过动态ip切换来应对,我需要在scrapy中实现ip自动切换,才能够在客户要求的时间内完成爬取任务。

在此之前,我用过第三方库scrapy-proxys加上芝麻ip的代理api接口,可能是之前代码没有调整好,导致的没有能够成功。(后面有机会再测试)。

二、阿布云范例

阿布云官方给出了python和scrapy的示例代码

文档python3示例

from urllib import request

# 要访问的目标页面
targetUrl = "http://test.abuyun.com/proxy.php"

# 代理服务器
proxyHost = "http-dyn.abuyun.com"
proxyPort = "9020"

# 代理隧道验证信息
proxyUser = "H01234567890123D"
proxyPass = "0123456789012345"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

proxy_handler = request.ProxyHandler({
    "http"  : proxyMeta,
    "https" : proxyMeta,
})

#auth = request.HTTPBasicAuthHandler()
#opener = request.build_opener(proxy_handler, auth, request.HTTPHandler)

opener = request.build_opener(proxy_handler)

request.install_opener(opener)
resp = request.urlopen(targetUrl).read()

print (resp)                        

上面的是官方提供的python原生写法,下面还有官方提供的scrapy写法:

文档scrapy示例

import base64

# 代理服务器
proxyServer = "http://http-dyn.abuyun.com:9020"

# 代理隧道验证信息
proxyUser = "H012345678901zyx"
proxyPass = "0123456789012xyz"

# for Python2
proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)

# for Python3
#proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta["proxy"] = proxyServer

        request.headers["Proxy-Authorization"] = proxyAuth 

这里在scrapy项目中的Middleware里面写即可。

三、正式集成

将它集成到scrapy框架中,那就在项目工程的middlewares.py中新增类及key等信息:

import base64

""" 阿布云ip代理key配置 """
proxyServer = "http://http-dyn.abuyun.com:9020"
proxyUser = "HWFHQ5YP14Lxxx"
proxyPass = "CB8D0AD56EAxxx"
# for Python3
proxyAuth = "Basic " + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass),     "ascii")).decode("utf8")


class ABProxyMiddleware(object):
    """ 阿布云动态ip代理中间件 """
    def process_request(self, request, spider):
        request.meta["proxy"] = proxyServer
        request.headers["Proxy-Authorization"] = proxyAuth

然后再到settings.py中启用刚才编写的中间件:

DOWNLOADER_MIDDLEWARES = {

   #'Securities.middlewares.SecuritiesDownloaderMiddleware': None,

    'Securities.middlewares.ABProxyMiddleware': 1,
}

四、注意事项

阿布云动态ip默认是1秒钟请求5次,(可以加钱,购买多次)。所以,当他是默认5次的时候,我需要对爬虫进行限速,还是在settings.py中,空白处新增如下代码:

""" 启用限速设置 """
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 0.2  # 初始下载延迟
DOWNLOAD_DELAY = 0.2  # 每次请求间隔时间

当然了,如果你加钱增加每秒次数的话,可以不用考虑限速的问题。

最后

即可完成阿布云动态代理ip在scrapy中的的集成,尽情的爬吧!

学习是一通百通的,既然阿布云平台的示例代码可以集成到框架中,那么其他平台的示例代码同样可以集成到框架中使用,我就不多写了。

如果你想真的学会这个技巧,你就应该自己去实践,自己动手编写代码并测试,才能够掌握在自己手中。

上一篇:Html --用简单的
实现多样化分割效果


下一篇:Large-Margin Softmax Loss for Convolutional Neural Networks