scrapy基本使用(一)

scrapy基本使用(一)

参考文档:Scrapy入门教程 http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

scrapy基本使用(二)  http://www.cnblogs.com/zhaijiahui/p/6984640.html

1、 安装

python3.5 按照官网大写的安不上,要是小写的才能安上

pip install scrapy

理论上如果报错,再看几遍就好了,至少我是这样,可能是网络问题吧。

如果出现了这个报错,是twisted的安装问题。

  building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

解决方案:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是python版本,amd64代表64位,运行命令:

pip install C:\Users\CR\Downloads\Twisted-17.5.-cp36-cp36m-win_amd64.whl

其中install后面为下载的whl文件的完整路径名
安装完成后,再次运行:

pip install Scrapy

即可成功。

2、 基础操作

1) 创建项目

这是第一步,因为我们要使用人家搭好的框架,这步就是生成框架。

scrapy startproject tutorial

执行成功会在当前目录生成一个文件夹。

2) 文件夹里的内容

官网说的很详细了,这里引用官网,我根据自己浅薄的知识理解一下。

scrapy.cfg: 项目的配置文件

tutorial/: 该项目的python模块。之后您将在此加入代码。(这才是核心呀。。)

tutorial/items.py: 项目中的item文件.(这是创建容器的地方,爬取的信息分别放到不同容器里)

tutorial/pipelines.py: 项目中的pipelines文件.

tutorial/settings.py: 项目的设置文件.(我用到的设置一下基础参数,比如加个文件头,设置一个编码)

tutorial/spiders/: 放置spider代码的目录. (放爬虫的地方)

3) 定义容器(items.py)

我个人认为,容器不用一开始就定好,应该是一点一点加的,但是官网就这个顺序。。

修改items.py

import scrapy

class DmozItem(scrapy.Item): #创建一个类,继承item类,就是继承人家写好的容器嘛
title = scrapy.Field() # 取哪些内容,就创建哪些容器
link = scrapy.Field()
desc = scrapy.Field()

3、 爬虫的编写

例子:

import scrapy

class DmozSpider(scrapy.Spider): # 继承Spider类
name = "dmoz" # 爬虫的唯一标识,不能重复,启动爬虫的时候要用
allowed_domains = ["dmoz.org"] # 限定域名,限定范围,应该是这个意思
start_urls = [ # 链接列表,可以有多个
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
] def parse(self, response):
filename = response.url.split("/")[-2] # 获取url,用”/”分段,获去倒数第二个字段
with open(filename, 'wb') as f:
f.write(response.body) # 把访问的得到的网页源码写入文件

这里需要重点说一下parse方法

被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。

该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

简单说就是用来编写爬虫的主体,response就是网页源码。

4、 启动爬虫

一条命令:

scrapy crawl dmoz

执行爬虫的时候发生了什么?

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request。

例:

yield scrapy.Request(self.url + nextLink, callback=self.parse)

Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

这里我们了解到请求链接的改变是靠回调函数实现的。

上一篇:GitHub:本地项目上传与团队协作


下一篇:【HDOJ】4932 Miaomiao's Geometry