Scrapy002-框架安装

@(Spider)[POSTS]

这里我使用的是Python3.x，

1. Ubuntu上安装

在安装Scrapy之前，首先需要确定环境和版本：

• Ubuntu16.04
• Python3.5
• Scrapy1.2

依赖安装：

sudo apt-get install build-essential

sudo apt-get install python3-dev

sudo apt-get install libxml2-de;

sudo apt-get install libxslt1-dev

sudo apt-get install python3-setuptools

lxml 安装：

sudo python3 -m pip install lxml

Scrapy安装：

sudo python3 -m pip install Scrapy

安装OpenSSL：

sudo python3 -m pip install pyopenssl

之前安装了python-dev和python-setuptools也要重新安装python3版本的这两个软件，即运行：

sudo apt-get install python3-dev

sudo apt-get install python3-setuptools

安装过程很简单，若出现其他问题，根据实际情况解决即可。

2. Windows10上安装

在安装之前我们需要进行准备工作：

• 安装Python3.5

官网下载就好，https://www.python.org/downloads/release/python-352/

• 下载并更新到Visual Studio 2015
  
  官方：Python3.5 对应的版本
  
  下载链接：https://www.visualstudio.com/zh-hans/downloads/

• 更新pip工具

python -m pip install -upgrade pip

由于Windows对Twisted框架支持还不是很完善，并不能通过pip来安装，我们可以通过下列方式：

1. 安装Twisted和lxml

到这个网址来下载已经做好的包：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Ctrl+f查询lxml即可。

注意:cp35表示Python3.5，win32指的是Python的位数而不是Windows的系统位数

在cmd中使用pip工具，安装下载的wheel包即可。

pip install d:\Twisted-16.4.1-cp35-cp35m-win32.whl

pip install d:\lxml-3.6.4-cp35-cp35m-win32.whl

2. 安装Scrapy

pip install scrapy

3.依赖问题

安装完成后，启动时关于错误 ImportError

ImportError: cannot import name '_win32stdio'

ImportError: No module named 'win32api'

解决：

pip  install  win32api

若仍未解决，请到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本安装即可解决。