scrapy安装_Scrapy1.5中文文档_Scrapy 中文网

scrapy文档主要介绍scrapy

安装,也就是个综述,简单的瞄一眼,对你有益无害!

scrapy可以运行在python2.7、python3.3或者是更高的版本上;如果你用的是Anaconda(Anaconda下载

)或者Minconda,你可以从conda-forge进行安装,可以使用下面的命令:

conda install -c conda-forge scrapy

如果你已经安装了python包管理工具PyPI,你也可以使用下面命令进行安装:

pip install Scrapy
值得注意的是,如果你使用的是pip安装,你需要解决相应的包依赖(解决依赖一般会让你怀疑人生、怀疑scrapy,建议还是用Anaconda安装,少年!)
scrapy安装_Scrapy1.5中文文档_Scrapy 中文网
这里的话,为了避免你安装的scrapy依赖包和原先你安装的其他python包有冲突,官方强烈建议你使用Virtualenv进行scrapy安装

scrapy依赖的一些包:

lxml:一种高效的XML和HTML解析器,

PARSEL:一个HTML / XML数据提取库,基于上面的lxml,

w3lib:一种处理URL和网页编码多功能辅助

twisted,:一个异步网络框架

cryptography and pyOpenSSL,处理各种网络级安全需求

以上包需要的最低版本:

Twisted 14.0

lxml 3.4

pyOpenSSL 0.14

Scrapy可以与旧版本的软件包工作但不保证它将继续!如果安装依赖包出现问题,请参考相应的解决方法!

上一篇:CentOS 6.2出现Disk sda contains BIOS RAID metadata解决方法_Linux教程_Linux公社


下一篇:自学Python之Scrapy爬虫:(一)爬虫基础