Scrapy002-框架安装

Scrapy002-框架安装

@(Spider)[POSTS]

这里我使用的是Python3.x

1. Ubuntu上安装

在安装Scrapy之前,首先需要确定环境和版本:

  • Ubuntu16.04
  • Python3.5
  • Scrapy1.2

依赖安装:

sudo apt-get install build-essential
sudo apt-get install python3-dev
sudo apt-get install libxml2-de;
sudo apt-get install libxslt1-dev
sudo apt-get install python3-setuptools

lxml 安装:

sudo python3 -m pip install lxml

Scrapy安装:

sudo python3 -m pip install Scrapy

安装OpenSSL:

sudo python3 -m pip install pyopenssl

之前安装了python-dev和python-setuptools也要重新安装python3版本的这两个软件,即运行:

sudo apt-get install python3-dev
sudo apt-get install python3-setuptools

安装过程很简单,若出现其他问题,根据实际情况解决即可。

2. Windows10上安装

在安装之前我们需要进行准备工作:

  • 安装Python3.5

官网下载就好,https://www.python.org/downloads/release/python-352/

python -m pip install -upgrade pip

由于WindowsTwisted框架支持还不是很完善,并不能通过pip来安装,我们可以通过下列方式:

1. 安装Twistedlxml

到这个网址来下载已经做好的包:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Ctrl+f查询lxml即可。

Scrapy002-框架安装

注意:cp35表示Python3.5,win32指的是Python的位数而不是Windows的系统位数

在cmd中使用pip工具,安装下载的wheel包即可。

pip install d:\Twisted-16.4.1-cp35-cp35m-win32.whl

pip install d:\lxml-3.6.4-cp35-cp35m-win32.whl

2. 安装Scrapy

pip install scrapy

3.依赖问题

安装完成后,启动时关于错误 ImportError

ImportError: cannot import name '_win32stdio'
ImportError: No module named 'win32api'

解决:

pip  install  win32api

若仍未解决,请到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下载对应版本安装即可解决。

上一篇:svn相关知识点


下一篇:【转】Swift之 ? 和 !