爬虫日记(60):Scrapy的过滤性管道

在开发爬虫的过程中,经常会遇到有一些内容不感兴趣、不需要的,这时候就需要使用过滤性的管道来处理。比如你去下载一些网店的数据,只对有价格显示的项有用,没有价格显示出来就没有办法处理,这时就可以采用过滤性的管道。如下的例子:

from itemadapter import ItemAdapter

from scrapy.exceptions import DropItem

class PricePipeline:

 

    vat_factor = 1.15

 

    def process_item(self, item, spider):

        adapter = ItemAdapter(item)

        if adapter.get('price'):

上一篇:设计模式--适配器模式


下一篇:hbase集群的启动,注意几个问题