安装scrapy

官网：https://scrapy.org/download/

使用pip安装，如果失败下载zip安装

 pip install scrapy

遇到的错误

1、安装报错：

# error: command 'cl.exe' failed: No such file or directory

解决：

下载 twisted 并安装

http://www.lfd.uci.edu/~gohlke/pythonlibs/

scrapy正常

2、运行报错

# ImportError: No module named 'win32api'

安装模块pypiwin32

pip install pypiwin32

3、visual c++ build tools

http://www.microsoft.com/zh-CN/download/details.aspx?id=48159

4、问题：openssl 之不是有效的win 32程序

pip uninstall pyopenssl cryptography
pip install pyopenssl cryptography

5、 问题：ModuleNotFoundError: No module named ‘_cffi_backend’

pip install pypiwin32

6、问题：scrapy shell url 发生TypeError: ‘float’ object is not iterable

pip install twisted==16.6.0

7、问题： Microsoft Visual C++ 14.0 is required

方式1：按照提示下载安装 Microsoft Visual C++ 14.0

visualcppbuildtools_full.exe

vc_redist.x64.exe

安装完以上两个组件之后，依然失败

方式2：方式一不一定好使，推荐下载对应已经编译好的windows版本安装

http://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl

spider环境安装：

pip install  scrapyd_api pypiwin32 redis scrapyd python-scrapyd-api twisted

参考：

1. 从零开始的 Python 爬虫速成指南
   
2. cl.exe’ failed: No such file or directory when installing Scrapy
   
3. Scrapy运行ImportError: No module named win32api错误