前提:先创建一个文件夹用来存放爬虫工程
创建项目命令:
scrapy startproject <project_name>
例子:
scrapy startproject myproject
创建成功如下图:
文件夹目录如下
myproject/
scrapy.cfg -------项目的配置文件
myproject/ -------该项目的python模块。之后您将在此加入代码。
__init__.py
items.py --------项目中的item文件.
pipelines.py --------项目中的pipelines文件
settings.py --------项目的设置文件
spiders/ --------放置spider代码的目录
__init__.py
...