1. 创建项目文档
在目标路径下，打开命令行，使用如下命令创建项目，例如项目名称为 "tutorial"：
1 scrapy startproject tutorial
- 创建项目时，会自动创建对应的目录，所以没有必要自己先预先创建项目名称的目录
2. 使用pycharm创建项目
由于是在windows下采用pycharm的IDE进行开发，因此直接在pycharm上创建一个项目，目录为第一步用命令创建的目录。
如果不想用IDE，也可以直接用文本编辑器编辑，或者使用其他IDE。
3. 修改item
使用第一步的命令创建项目后，会有默认的item类，如果有必要的画，可自行的该类中添加对应的item字段，如：
1 class DmozItem(scrapy.Item):
2 # define the fields for your item here like:
3 # name = scrapy.Field()
4 title = scrapy.Field()
5 link = scrapy.Field()
6 desc = scrapy.Field()
7
4. 创建spider
在 spiders/ 目录下创建对应的spider文件，如 demo_spider.py
1 import scrapy
2 from tutorial.items import DmozItem
3
4 class DmozSpider(scrapy.Spider):
5 name = "dmoz"
6 allowed_domains = ["dmoz.org"]
7 start_urls = [
8 "http://dmoztools.net/Computers/Programming/Languages/Python/Books/",
9 ]
10
11 def parse(self, response):
12 for sel in response.xpath('//ul/li'):
13 item = DmozItem()
14 item['title'] = sel.xpath('a/text()').extract()
15 item['link'] = sel.xpath('a/@href').extract()
16 item['desc'] = sel.xpath('text()').extract()
17 yield item
18
上述代码简要说明如下：
1) from tutorial.items import DmozItem：导入 Item 类
2) name = "dmoz"：spider的名字，在一个项目中，每个spider的名字都必须是唯一的，这个名字在运行时需要被指定，如要运行上述spider的命令为： scrapy crawl dmoz
3) strat_urls： 用来指定目标url的数组，scrapy会根据这个数组中的url，逐个去产生Request请求，可以说是“爬虫”的入口或者起始点；除了通过数组方式指定外，也可以用函数的方式生成，指定对应的url和回调函数，例如：
1 def start_requests(self):
2 url_page = "http://dmoztools.net/Computers/Programming/Languages/Python/Books/"
3 yield scrapy.Request(url=url_page, callback=self.parse)
4
4）yield item：产生item数据，用于将item输出
5. 使用shell进行调试
对于大部分情况来说，可能不像例子这样，直接就把 parse 函数写出来了，中间肯定要一点一点去提取相关的有用信息，确认ok之后再一点一点往 parse 函数里面添， shell 的调用方式为在命令行下输入如下命令：
1 scrapy crawl dmoz -o dmoz.json
2
这部分参见另外的文章，在此不做赘述。
6. 运行spider
调试完成之后，就可以把爬虫运行起来了，运行方式如下：
scrapy crawl dmoz
如果需要把结果输出，可以采用 -o 设置输出文件，如：
1 scrapy crawl dmoz -o dmoz.json
2
说明
- 本文中的例子的代码来自Scrapy说明文档中的例子，不过用自己的语言和理解重新整理了思路，便于入手理解，但不是很全面，详细的内容可以参考官方文档；