前言就不过多赘述了，大家只要把scrapy的基本了解之后就可以完成这个项目。

一：创建scrapy项目： 打开控制台输入 scrapy startproject beibus(这个是项目名称，可以自己修改)

进入项目文件夹创建爬虫scrapy genspider (爬虫名) (域名)

 查看beibus项目，如果有刚刚创建的爬虫名称的py文件，说明爬虫创建成功

二：设置settings

打开settings.py文件，修改ROBOTSTXT_OBEY的值为False