安装scrapy 爬虫框架
个人根据学习需要,在Windows搭建scrapy爬虫框架,搭建过程种遇到个别问题,共享出来作为记录。
1.安装python 2.7
1.1下载
1.2配置环境变量
以下内容添加到PATH中
C:\Python27\;C:\Python27\Scripts\;
打开CMD运行如下内容:
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
1.3检验是否成功
python --version
2.检查pip
python安装过程中,会把pip安装好
查看方法CMD输入
pip --version
若未安装,请参考如下连接
安装pywin32
3.安装pywin32
pip install pywin32
4.安装Scrapy
4.1安装命令
pip install Scrapy
4.2验证安装是否成功
python
>>>import scrapy
不报错,则表示安装成功。
4.3创建项目
CMD切换要安装的目录下
scrapy startproject tutorial
运行成功后,该目录下生成如下文档结构
tutorial/
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
Scrapy爬虫框架搭建完成。
5.常见问题
5.1.缺少C++组件
安装完成后,无需重启电脑。
5.2.pip版本低
执行如下命令进行升级
python -m pip install --upgrade pip
参考:
https://scrapy-chs.readthedocs.io