Scrapy爬虫框架的安装

Scrapy框架是我在Windows中遇到的最难安装的第三方库,一直不想写这篇博客,但碰巧今天重装了系统,这正好是个机会?

1.安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

根据自己的电脑配置下载,因为我的Python是64位的,环境:Python3.6,所以选择这个

Scrapy爬虫框架的安装

2.安装lxml模块:pip install lxml

3.安装wheel模块:pip install wheel

4.scrapy依赖twiste,使用whl格式的包进行安装,网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/

Scrapy爬虫框架的安装

5.然后下载scrapy的whl包,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

Scrapy爬虫框架的安装

在下载好的路径下:在此处打开命令窗口,然后依次输入:

pip install Twisted-17.1.0-cp36-cp36m-win_amd64.whl

pip install Scrapy-1.3.3-py2.py3-none-any.whl

pip install Scrapy

Scrapy爬虫框架的安装

大功告成!!!

上一篇:轻松使用Nginx搭建web服务器


下一篇:Reading | 《Linux就该这么学》