scrapy使用笔记

1.先装python环境

2.安装pip

3.使用pip安装

pip install lxml==3.4.2 // 有报错提示

scrapy使用笔记

考虑到是网络不稳定的问题,这时我们用国内的镜像源来加速

 

用pip安装依赖包时默认访问https://pypi.python.org/simple/,但是经常出现不稳定以及访问速度非常慢的情况,国内厂商提供的pipy镜像目前可用的有:

参考文章https://blog.csdn.net/u012592062/article/details/51966649

pip install lxml==3.4.2 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

scrapy使用笔记

  • pyOpenSSL
    需要在官网下载wheel文件 pyOpenssL
    下载后使用

pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl

scrapy使用笔记

Twisted
同理,需要在官网下载wheel文件 Twisted,但是有一件事,一定要记得在控制台下输入

>pip install Twisted-18.9.0-cp34-cp34m-win_amd64.whl

//下载好后安装提示不支持,可能当前python不支持这个版本,先不管了 后面如果又用到再说吧 ,然后直接安装scrapy

scrapy使用笔记

pip install scrapy   -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

安装好scrapy后可以在控制台直接新建项目了

cd到你定义好的目录

scrapy startproject xxxx //新建一个xxxx的项目,然后再目录下会生成一个xxxx的文件夹,里面有items,settings等文件,爬虫程序再spider文件夹下

scrapy使用笔记

爬取

进入项目的根目录,执行下列命令启动spider:

scrapy crawl xxxx

//参考文章:https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html

上一篇:1002: Prime Path


下一篇:02.pip源