Scrapy框架的基本使用

2023-11-29 23:22:04

scrapy框架简介

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛

框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便

scrapy架构图

l crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

l Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

l Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

l Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

l Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方

l Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

l Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

新建scrapy项目

1、创建爬虫项目，命令：scrapy startproject 项目名称

2、创建爬虫文件，命令：scrapy genspider 文件名称域名

创建完成后会自动生成一些文件

目标网站分析需要提取的数据，在item.py文件中添加字段

Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误

基本案例：

使用scrapy框架爬取quote.xxx 网站，爬取里面的所有text, author,tag信息，并保存到Mongodb数据库中

步骤：

1. scrapy startproject quotetest 利用scrapy命令常见一个项目，名称是quotetest
2. scrapy genspider quote quotes.toscrape.com 进入cd quotetest 目录里面，创建文件名称是quote的，域名是最后的网址，起始爬虫的网址
3. 编辑爬虫的文件quote.py(是使用命令默认生成的)其中parse方法是一个回调方法,起始url请求成功后,会回调这个方法

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        #用来解析爬取中的方法,默认的回调，来进行解析
        # print(response.text)
        quotes = response.css('.quote')
        for quote in quotes:
            item = QuotetutorialItem()
            text = quote.css('.text::text').extract_first()
            author = quote.css('.author::text').extract_first()
            tags = quote.css('.tags .tag::text').extract()
            item['text'] = text
            item['author'] = author
            item['tags'] = tags
            yield item


        next = response.css('.pager .next a::attr(href)').extract_first()
        url = response.urljoin(next) #绝对的url
        yield scrapy.Request(url=url, callback=self.parse)

4. 配置item.py文件，Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误，在quote.py中的parse方法中有使用这个类，作为解析数据的

class QuotetutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    #存储
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

5. 配置pipline.py中的类，它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方. 我们需要将text中的内容过长的数据进行截取结尾使用‘…’来代替，方法如

class TextPipline(object):
    def __init__(self):
        self.limit = 50
    def process_item(self, item, spider):
        if item['text']:
            if len(item['text']) > self.limit:
                item['text'] = item['text'][:self.limit].rstrip() + '...'
                return item
        else:
            return DropItem('Missing Text')

6. 配置pipline.py中的类，进行进行后期存储处理，将数据保存到mongodb中，方法如下

class MongoPipline(object):
    def __init__(self, mongo_url, mongo_db):
        self.mongo_url = mongo_url
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        #从setting里面拿到相应的配置信息
        return cls(
            mongo_url=crawler.settings.get('MONGO_URL'),
            mongo_db = crawler.settings.get('MONGO_DB')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_url)
        self.db= self.client[self.mongo_db]
    def process_item(self, item, spider):
        name = item.__class__.__name__
        self.db[name].insert(dict(item))
        return item
    def close_spider(self, spider):
        self.client.close()

使用类方法，将配置文件中的变量配置到类中进行初始化初始化mongodb类，并使用方法process_item进行保存数据到mongodb中，最后执行关闭操作

注意settings文件中需要设置如下，否则无法知道pipline的处理

Setttings文件中，设置好mongodb的配置

ITEM_PIPELINES = {
   'quotetutorial.pipelines.TextPipline': 300,
    'quotetutorial.pipelines.MongoPipline': 400,
}


MONGO_URL = 'localhost'
MONGO_DB  = 'quotertutors'

参考网址：https://www.jianshu.com/p/8e78dfa7c368

Scrapy中选择器的用法：

选择器的用法这里介绍 3中 css xpath 还有 re

选择器的用法

https://docs.scrapy.org/en/latest/topics/selectors.html?highlight=using%20selectors#id1

scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

#进入交互模式

网页的源代码是

<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>

练习项(CSS)：

查看title的内容

In [88]: response.css('title::text').extract_first()

Out[88]: 'Example website'

查看a标签下的内容

In [91]: response.css('a::text').extract()

Out[91]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

查看a标签下面img标签对应的属性src的内容

In [93]: response.css('a img::attr(src)').extract()

Out[93]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查看a标签href属性包含image的下的内容

In [100]: response.css('a[href*=image]::text').extract()

Out[100]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

练习题（xpath）：

1. 查看title的内容

In [105]: response.xpath('//title/text()').extract_first()

Out[105]: 'Example website'

2. 查看a标签下的内容

In [107]: response.xpath('//a/text()').extract()

Out[107]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

3. 查看a标签下面img标签对应的属性src的内容

In [112]: response.xpath('//a/img/@src').extract()

Out[112]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

4. 查看a标签href属性包含image的下的内容

In [115]: response.xpath('//a[contains(@href, "image")]/text()').extract()

Out[115]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

练习题（re）：

查询a标签下的内容，并利用re模块查看Name:后面的内容（使用css选择器）

In [116]: response.css('a::text').re('Name:(.*)')

Out[116]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

查询a标签下的内容，并利用re模块查看Name:后面的内容（使用xpath选择器）

In [117]: response.xpath('//a/text()').re('Name:(.*)')

Out[117]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

 

In [119]: response.xpath('//a/text()').re_first('Name:(.*)').strip()

Out[119]: 'My image 1'

码农公寓

scrapy架构图

新建scrapy项目

基本案例：

步骤：

Scrapy中选择器的用法：

选择器的用法

相关文章