安装,也就是个综述,简单的瞄一眼,对你有益无害!
scrapy可以运行在python2.7、python3.3或者是更高的版本上;如果你用的是Anaconda(Anaconda下载)或者Minconda,你可以从conda-forge进行安装,可以使用下面的命令:
conda install -c conda-forge scrapy
如果你已经安装了python包管理工具PyPI,你也可以使用下面命令进行安装:
pip install Scrapy值得注意的是,如果你使用的是pip安装,你需要解决相应的包依赖(解决依赖一般会让你怀疑人生、怀疑scrapy,建议还是用Anaconda安装,少年!)
这里的话,为了避免你安装的scrapy依赖包和原先你安装的其他python包有冲突,官方强烈建议你使用Virtualenv进行scrapy安装
;
scrapy依赖的一些包:lxml:一种高效的XML和HTML解析器,
PARSEL:一个HTML / XML数据提取库,基于上面的lxml,
w3lib:一种处理URL和网页编码多功能辅助
twisted,:一个异步网络框架
cryptography and pyOpenSSL,处理各种网络级安全需求
以上包需要的最低版本:Twisted 14.0
lxml 3.4
pyOpenSSL 0.14
Scrapy可以与旧版本的软件包工作但不保证它将继续!如果安装依赖包出现问题,请参考相应的解决方法!