python学习(二)百度爬虫0.1

参照着网上的爬虫案例(点我),先做了一个demo,基本的爬虫项目创建,以及数据抽取,数据分析,数据保存等等过程基本上有所掌握。

我的需求是需要检索指定的百度贴吧,根据指定的关键字库,搜索出含有关键字的链接,并抽取出来,用于后续告警。

因此,基于需求,分如下步骤:

第一:基于Scrapy创建爬虫项目;

第二:新建TieBaSpider爬虫;

第三:新建外部关键字库dictionary.txt文件,贴吧地址配置url.txt文件;

第一步参考晚上案例。

从第二步开始,编写爬虫,同时创建实例对象以及创建管道。

爬虫代码:

python学习(二)百度爬虫0.1
# -*- coding:gbk -*-
from scrapy.spider import Spider
from scrapy.selector import Selector
from tutorial.items import TieBa

import codecs
import re

class TieBaSpider(Spider):
    name = "tieba"
    allowed_domains = ["tieba.baidu.com"]  #限定爬虫搜索域
    start_urls = []
    dictionarys = []

    def __init__(self):
        self.readFile(self.dictionarys, dictionary.txt)
        self.readFile(self.start_urls, url.txt)

    def readFile(self, file, fileName):
        tempFile = codecs.open(fileName,r)
        for temp in tempFile.readlines():
            #去回车符
            if temp[-1] == \n:
                temp = temp[0:-1]
            file.append(temp)
        tempFile.close()

    def parse(self, response):
        sel = Selector(response)
        sites = sel.xpath(//div[@class="threadlist_text threadlist_title j_th_tit  notStarList "])
        items = []
    
        for site in sites:
            item = TieBa()
            title = site.xpath(a/@title).extract()
            childLink = site.xpath(a/@href).extract()

            item[title] = self.change(title)
            item[childLink] = "http://tieba.baidu.com" + self.change(childLink)

            for key in self.dictionarys:
                if item[title].find(key.decode(gbk)) != -1:
                    items.append(item)
        
        return items

    def change(self, field):
        for temp in field:
            return temp
python学习(二)百度爬虫0.1

name用来指定爬虫的名字

allowed_domains指定爬虫检索的限定域

在__init__方法中,将外部的关键字字典文件dictionary.txt与贴吧指定文件url.txt文件的内容读入到工程中。

在读文件的时候,如果有多行,python不会主动去除换行符,需要代码处理下(说是open方法的第二个参数配置为’r’就可以解决,但是我没搞定)。

parse函数是Scrapy的默认回调函数,针对start_urls中的每一条url,Scrapy都会创建一个Request,然后默认会回调parse函数,传入response。

在字符串查找的时候,因为在windows系统下,python读文件内容时的编码为ascii码,需要转换为其它编码才能进行比较。这里选用gbk是因为百度贴吧的html编码为gbk。

change方法是将list转换为string,不知道还有其它办法没,先这样用了。

爬虫定义好之后,Scrapy会自动调用配置的pipeline,将item对象传入,管道会执行写文件操作。

在items.py中创建实例。

实例代码:

class TieBa(Item):
    title = Field()
    childLink = Field()
    childValue = Field()

在pipelines.py中创建管道。

管道:

python学习(二)百度爬虫0.1
class JsonWithEncodingPipeline(object):
    def __init__(self):
        self.file = codecs.open(tieba.json,wb,encoding=utf-8)

    def process_item(self,item,spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line.encode(gbk).decode("unicode_escape"))
        return item

    def spider_closed(self, spider):
        self.file.colse()
python学习(二)百度爬虫0.1

在settings.py中配置管道信息。

管道的配置:

ITEM_PIPELINES = {
        tutorial.pipelines.JsonWithEncodingPipeline :300
    }

python学习(二)百度爬虫0.1,布布扣,bubuko.com

python学习(二)百度爬虫0.1

上一篇:weixinShare.js / 极简微信分享插件


下一篇:Android应用开发—RecyclerView绘制蒙层