1.先装python环境
2.安装pip
3.使用pip安装
pip install lxml==3.4.2 // 有报错提示
考虑到是网络不稳定的问题,这时我们用国内的镜像源来加速
用pip安装依赖包时默认访问https://pypi.python.org/simple/
,但是经常出现不稳定以及访问速度非常慢的情况,国内厂商提供的pipy镜像目前可用的有:
参考文章https://blog.csdn.net/u012592062/article/details/51966649
pip install lxml==3.4.2 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
- pyOpenSSL
需要在官网下载wheel文件 pyOpenssL
下载后使用
pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl
Twisted
同理,需要在官网下载wheel文件 Twisted,但是有一件事,一定要记得在控制台下输入
>pip install Twisted-18.9.0-cp34-cp34m-win_amd64.whl
//下载好后安装提示不支持,可能当前python不支持这个版本,先不管了 后面如果又用到再说吧 ,然后直接安装scrapy
pip install scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
安装好scrapy后可以在控制台直接新建项目了
cd到你定义好的目录
scrapy startproject xxxx //新建一个xxxx的项目,然后再目录下会生成一个xxxx的文件夹,里面有items,settings等文件,爬虫程序再spider文件夹下
爬取
进入项目的根目录,执行下列命令启动spider:
scrapy crawl xxxx
//参考文章:https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html