《python爬虫开发与项目实践》里最后一章介绍了pyspider的使用。然鹅。。我刚开始就报错了:
Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate
网上一查发现,原因是:这个错误会发生在请求 https 开头的网址,SSL 验证错误,证书有误。
解决方法:
最简单的解决方法是:
在 crawl 方法中加入忽略证书验证的参数,validate_cert=False,即
self.crawl('http://movie.douban.com/tag/', callback=self.index_page, validate_cert=False)
就可以了。