Scrapy在Ubuntu下的安装与配置

Fighting365 机器学习算法与Python学习

Scrapy在Ubuntu下的安装与配置

吐槽一下

最近几天由于比较忙，关于Torch7剩下的部分过些日子再更新。现在想想，是不是好久没有更行python爬虫的东西啦？好的吧，今天由于台式机的Ubuntu崩溃了，不得不重新安装Scrapy爬虫框架，正好姐这个机会写点关于Scrapy在Ubuntu下的安装与配置的相关内容吧。说实话，在Ubuntu下安装SCrapy比在Window下安装方便多了(window下的安装教程度娘一搜一大把不再赘述)。

1

安装python

sudo apt-get install python2.7 python2.7-dev

2

安装pip

首先下载 pip-get.py，然后进入下载目录执行下面的命令。
wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate

sudo python get-pip.py

3

安装Scrapy

首先验证本机是否已经安装了lxml，验证方式如下。

sudo pip install lxml
如果终端提示以下信息则表明你的系统已经安装lxml

Requirement already satisfied (use --upgrade to upgrade):
lxml in /usr/lib/python2.7/dist-packages
然后验证是否安装了openssl，这个比较简单，直接在终端下输入openssl直接进入OPENSSL表明已经安装

在确认已经安装了lxml和openssl后就可以安装Scrapy，如下。

sudo apt install python-scrapy