安装scrapy 爬虫框架

安装scrapy 爬虫框架

个人根据学习需要,在Windows搭建scrapy爬虫框架,搭建过程种遇到个别问题,共享出来作为记录。

1.安装python 2.7

1.1下载

下载地址

1.2配置环境变量

以下内容添加到PATH中

C:\Python27\;C:\Python27\Scripts\;

打开CMD运行如下内容:

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

1.3检验是否成功

python --version

安装scrapy 爬虫框架

2.检查pip

python安装过程中,会把pip安装好

查看方法CMD输入

pip --version

安装scrapy 爬虫框架

若未安装,请参考如下连接

参考连接

安装pywin32

3.安装pywin32

pip install pywin32

4.安装Scrapy

4.1安装命令

pip install Scrapy

4.2验证安装是否成功

python

安装scrapy 爬虫框架

>>>import scrapy

不报错,则表示安装成功。

4.3创建项目

CMD切换要安装的目录下

scrapy startproject tutorial

运行成功后,该目录下生成如下文档结构

tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...

Scrapy爬虫框架搭建完成。

5.常见问题

5.1.缺少C++组件

安装scrapy 爬虫框架

下载地址

安装完成后,无需重启电脑。

5.2.pip版本低

安装scrapy 爬虫框架

执行如下命令进行升级

python -m pip install  --upgrade pip

参考:

https://scrapy-chs.readthedocs.io

上一篇:MFC vc++ 写 word 文件,mswoord.cpp文件(1)


下一篇:基于C/S架构的3D对战网络游戏C++框架_03服务器端详细设计