#!/usr/bin/env python

# -*- coding:utf8 -*-

from scrapy_redis.spiders import RedisSpider    # 导入scrapy_redis里的RedisSpider类

import scrapy

from scrapy.http import Request                 #导入url返回给下载器的方法

from urllib import parse                        #导入urllib库里的parse模块

class jobboleSpider(RedisSpider):               # 自定义爬虫类,继承RedisSpider类

    name = 'jobbole'                            # 设置爬虫名称

    allowed_domains = ['blog.jobbole.com']       # 爬取域名

    redis_key = 'jobbole:start_urls'            # 向redis设置一个名称储存url

    def parse(self, response):

        """

        获取列表页的文章url地址，交给下载器

        """

        # 获取当前页文章url

        lb_url = response.xpath('//a[@class="archive-title"]/@href').extract()  # 获取文章列表url

        for i in lb_url:

            # print(parse.urljoin(response.url,i))                                             #urllib库里的parse模块的urljoin()方法，是自动url拼接，如果第二个参数的url地址是相对路径会自动与第一个参数拼接

            yield Request(url=parse.urljoin(response.url, i),

                          callback=self.parse_wzhang)  # 将循环到的文章url添加给下载器，下载后交给parse_wzhang回调函数

        # 获取下一页列表url,交给下载器，返回给parse函数循环

        x_lb_url = response.xpath('//a[@class="next page-numbers"]/@href').extract()  # 获取下一页文章列表url

        if x_lb_url:

            yield Request(url=parse.urljoin(response.url, x_lb_url[0]),

                          callback=self.parse)  # 获取到下一页url返回给下载器，回调给parse函数循环进行

    def parse_wzhang(self, response):

        title = response.xpath('//div[@class="entry-header"]/h1/text()').extract()  # 获取文章标题

        print(title)

#!/usr/bin/env python

# -*- coding:utf8 -*-

from scrapy_redis.spiders import RedisCrawlSpider    # 导入scrapy_redis里的RedisCrawlSpider类

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import Rule

class jobboleSpider(RedisCrawlSpider):               # 自定义爬虫类,继承RedisSpider类

    name = 'jobbole'                                 # 设置爬虫名称

    allowed_domains = ['www.luyin.org']              # 爬取域名

    redis_key = 'jobbole:start_urls'                 # 向redis设置一个名称储存url

    rules = (

        # 配置抓取列表页规则

        # Rule(LinkExtractor(allow=('ggwa/.*')), follow=True),

        # 配置抓取内容页规则

        Rule(LinkExtractor(allow=('.*')), callback='parse_job', follow=True),

    )

    def parse_job(self, response):  # 回调函数，注意：因为CrawlS模板的源码创建了parse回调函数，所以切记我们不能创建parse名称的函数

        # 利用ItemLoader类，加载items容器类填充数据

        neir = response.css('title::text').extract()

        print(neir)

# 分布式爬虫设置

SCHEDULER = "scrapy_redis.scheduler.Scheduler"                  # 使调度在redis存储请求队列

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"      # 确保所有的蜘蛛都共享相同的过滤器通过Redis复制

ITEM_PIPELINES = {

    'scrapy_redis.pipelines.RedisPipeline': 300                 # 存储在redis刮项后处理

}