####
###
这个爬虫中间件,的process_start_request方法,可以监控到有多少个爬虫启动,启动了多少个url,
因为所有的爬虫,都会通过这个中间件的,
我们可以在这个上面做文章,来监控这个爬虫的情况,
###
这两个是控制输入和输出的,
输出的信息,可以把每一个页面,的每一个记录的输出情况,都能拿到,这个就厉害了,
#####
所以整个的,pipeline的设计,爬虫中间件,下载器中间件的设计,让我们可以非常灵活的扩展自己的想要的功能,
####
####