Scrapy框架的基本使用

scrapy框架简介

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛

框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便

scrapy架构图

 Scrapy框架的基本使用

l  crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。

 

l  Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。

 

l  Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,

 

l  Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),

 

l  Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方

 

l  Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。

 

l  Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)

 Scrapy框架的基本使用

 

新建scrapy项目

1、创建爬虫项目,命令:scrapy startproject 项目名称

2、创建爬虫文件,命令:scrapy genspider 文件名称 域名

创建完成后会自动生成一些文件

目标网站分析需要提取的数据,在item.py文件中添加字段

Item 定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误

 

基本案例:

使用scrapy框架爬取quote.xxx 网站, 爬取里面的所有text, author,tag信息, 并保存到Mongodb数据库中  

步骤:

  1. 1.      scrapy startproject quotetest  利用scrapy命令常见一个项目,名称是quotetest
  2. 2.      scrapy genspider quote quotes.toscrape.com 进入cd quotetest 目录里面,创建文件名称是quote的,域名是最后的网址,起始爬虫的网址
  3. 3.       编辑爬虫的文件quote.py(是使用命令默认生成的)其中parse方法是一个回调方法,起始url请求成功后,会回调这个方法

   

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        #用来解析爬取中的方法,默认的回调,来进行解析
        # print(response.text)
        quotes = response.css('.quote')
        for quote in quotes:
            item = QuotetutorialItem()
            text = quote.css('.text::text').extract_first()
            author = quote.css('.author::text').extract_first()
            tags = quote.css('.tags .tag::text').extract()
            item['text'] = text
            item['author'] = author
            item['tags'] = tags
            yield item


        next = response.css('.pager .next a::attr(href)').extract_first()
        url = response.urljoin(next) #绝对的url
        yield scrapy.Request(url=url, callback=self.parse)

 

  1. 4.      配置item.py文件,Item 定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误 ,在quote.py中的parse方法中有使用这个类,作为解析数据的

   

class QuotetutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    #存储
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

 

  1. 5.      配置pipline.py中的类,它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方. 我们需要将text中的内容过长的数据进行截取 结尾使用‘…’来代替,方法如

  

class TextPipline(object):
    def __init__(self):
        self.limit = 50
    def process_item(self, item, spider):
        if item['text']:
            if len(item['text']) > self.limit:
                item['text'] = item['text'][:self.limit].rstrip() + '...'
                return item
        else:
            return DropItem('Missing Text')

 

  1. 6.      配置pipline.py中的类,进行进行后期存储处理,将数据保存到mongodb中, 方法如下

  

class MongoPipline(object):
    def __init__(self, mongo_url, mongo_db):
        self.mongo_url = mongo_url
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        #从setting里面拿到相应的配置信息
        return cls(
            mongo_url=crawler.settings.get('MONGO_URL'),
            mongo_db = crawler.settings.get('MONGO_DB')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_url)
        self.db= self.client[self.mongo_db]
    def process_item(self, item, spider):
        name = item.__class__.__name__
        self.db[name].insert(dict(item))
        return item
    def close_spider(self, spider):
        self.client.close()

 

使用类方法,将配置文件中的变量配置到类中进行初始化  初始化mongodb类, 并使用方法process_item进行保存数据到mongodb中  ,最后执行关闭操作   

 

注意settings文件中需要设置如下, 否则无法知道pipline的处理

 

Setttings文件中,设置好mongodb的配置

ITEM_PIPELINES = {
   'quotetutorial.pipelines.TextPipline': 300,
    'quotetutorial.pipelines.MongoPipline': 400,
}


MONGO_URL = 'localhost'
MONGO_DB  = 'quotertutors'

 

 

参考网址:https://www.jianshu.com/p/8e78dfa7c368

 

Scrapy中选择器的用法:

选择器的用法 这里介绍 3中 css xpath 还有  re

 

 

选择器的用法  

https://docs.scrapy.org/en/latest/topics/selectors.html?highlight=using%20selectors#id1

scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

#进入交互模式

网页的源代码是

<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>

 

 

练习项(CSS):

  1. 查看title的内容
In [88]: response.css('title::text').extract_first()

Out[88]: 'Example website'

 

  1. 查看a标签下的内容
In [91]: response.css('a::text').extract()

Out[91]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

 

  1. 查看a标签下面img标签对应的属性src的内容
In [93]: response.css('a img::attr(src)').extract()

Out[93]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

 

  1. 查看a标签href属性包含image的下的内容
In [100]: response.css('a[href*=image]::text').extract()

Out[100]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

 

 

 

 

 

 

 

练习题(xpath):

1.    查看title的内容

In [105]: response.xpath('//title/text()').extract_first()

Out[105]: 'Example website'

 

2.    查看a标签下的内容

In [107]: response.xpath('//a/text()').extract()

Out[107]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

 

3.    查看a标签下面img标签对应的属性src的内容

In [112]: response.xpath('//a/img/@src').extract()

Out[112]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

 

4.    查看a标签href属性包含image的下的内容

In [115]: response.xpath('//a[contains(@href, "image")]/text()').extract()

Out[115]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

 

 

练习题(re):

  1. 查询a标签下的内容,并利用re模块查看Name:后面的内容(使用css选择器)
In [116]: response.css('a::text').re('Name:(.*)')

Out[116]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

 

  1. 查询a标签下的内容,并利用re模块查看Name:后面的内容(使用xpath选择器)
In [117]: response.xpath('//a/text()').re('Name:(.*)')

Out[117]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

 

 

 

In [119]: response.xpath('//a/text()').re_first('Name:(.*)').strip()

Out[119]: 'My image 1'

 

上一篇:K8s部署及服务总结


下一篇:项目实训报告-11 (附加)爬取世界日报网设计