Scrapy 是一个基于Twisted,纯Python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便~
本文讲述了在64位 Ubuntu
12.04服务器上安装Scrapy的过程。
准备服务器
阿里云服务器配置
登录服务器
使用Putty登录服务器
安装Scrapy
导入GPG密钥
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
添加软件源
echo ‘deb http://archive.scrapy.org/ubuntu scrapy main‘ | sudo tee /etc/apt/sources.list.d/scrapy.list
更新包列表并安装scrapy
sudo apt-get update && sudo apt-get install scrapy-0.22