Scrapy基于事件驱动网络框架 Twisted 编写,Twisted是一个异步非阻塞框架。
安装 scrapy 要先安装 Twisted,不然无法安装成功,链接: Python Extension Packages for Windows
这里 Twisted 要下载Python对应的位数而不是电脑的位数,被此坑的不轻,(这里我是32位python)
下载完成后把文件拖到任意文件夹,这里我是拖到了Python目录下的libs里面
ctrl+R 进入dos, cd到刚刚的存放目录下,(我是D:\python3.6.5\libs)
install pip Twisted-17.9.0-cp36-cp36m-win32.whl #开始安装
Twisted安装完成,下面开始安装Scrapy,同理,进入到网站,找到Scrapy文件,下载到相同目录下,然后
install pip Scrapy-1.5.0-py2.py3-none-any.whl #开始安装
然后测试scrapy是否安装成功:
安装成功,开始爬虫之旅吧