Scrapy:为spider指定pipeline

当一个Scrapy项目中有多个spider去爬取多个网站时,往往需要多个pipeline,这时就需要为每个spider指定其对应的pipeline

[通过程序来运行spider],可以通过修改配置settingsITEM_PIPELINES只有1个当前运行的spiderpipeline,然后加载配置并运行spider:

settings = get_project_settings()
settings.set('ITEM_PIPELINES', {'MyPipeline':1}, 20)
runner = CrawlerRunner(settings)

我是通过命令行来获得当前要运行的spider,然后通过建立的spiderpipeline的字典来找到对应的pipeline的。

上一篇:[Codeforces]849E Goodbye Souvenir


下一篇:scrapy之spiders