python爬虫——scrapy使用笔记(超详细版)

环境安装(windows):
  (1)pip install wheel
  (2)下载twisted
  (3)安装twisted  pip install Twisted-
  pip install pywin32
  pip install scrapy

python爬虫——scrapy使用笔记(超详细版)

测试:创建一个工程:

scrapy startprojiect xxPro

python爬虫——scrapy使用笔记(超详细版)

 在spiders子目录中创建一个爬虫文件

scrapy genspider spiderName www.xxx.com

python爬虫——scrapy使用笔记(超详细版)

执行工程:

scrapy crawl spiderName

python爬虫——scrapy使用笔记(超详细版)

打开setting.py文件,将“ROBOTSTXT_OBEY = True ” 中True修改为Falsepython爬虫——scrapy使用笔记(超详细版)

再次执行工程

scrapy crawl first --nolog     # (--nolog 不显示日志) 

python爬虫——scrapy使用笔记(超详细版)

在setting.py中设置日志输出信息,可以只输出错误日志信息

python爬虫——scrapy使用笔记(超详细版) 

 

上一篇:RuntimeError: The current Numpy installation


下一篇:Pytest运行多个py文件