python分布式爬虫,教学

1. 安装环境依赖:
pip install scrapy-redis -i https://mirror.baidu.com/pypi/simple/
2. 将爬虫的类从 scrapy.Spider 变成 scrapy_redis.spiders.RedisSpider
2.1 将爬虫中的start_urls删掉。增加一个redis_key=“xxx”。这个redis_key是为了以后在redis中控制爬虫启动的。爬虫的第一个url,就是在redis中通过这个发送出去的
3. 更改scrapy的配置文件,将爬虫的去重交由redis完成

python分布式爬虫,教学

4. 运行爬虫,不再是scra
上一篇:电影和电视


下一篇:MySQL--中间表语句练习