定义两个管道类，每个管道类中重写process_item(self, item, spider)
pipelines.py
# 这个类把数据保存进数据库
class save_to_db:
def process_item(self, item, spider):
# 要返回item给下一个类调用
return item
# 这个类把数据保存到本地text文件
class save_to_text:
def process_item(self, item, spider):
return item
在管道中开启
ITEM_PIPELINES = {
‘learn_scrapy.pipelines.LearnScrapyPipeline‘: 300,
‘learn_scrapy.pipelines.save_to_db‘: 200,
‘learn_scrapy.pipelines.save_to_text‘: 300,
}