如何安装Scrapy爬虫框架-详细讲解

一 :windows下安装Scrapy爬虫框架
废话不多说直接上教程
1,打开终端,在编辑器的终端和window下的也行输入命令
pip install Scrapy
2,大部分情况下第一步总会出现错误,因为我们pip安装的scrapy依赖是从python官方包里下载的,而有一些包是第三方的,需要我们来自己手动
来安装
3,例如有一个重要的包twisted你就得从网站上找到安装文件来安装
twisted是一个异步网络框架,是scapy的重要组成部分,好了
去网站下载安装文件地址:好多python第三方扩展包都有

4,下载Twisted-20.3.0-cp38-cp38-win_amd64.whl文件其中cp后面的数字
代表你的python版本,amd64代表操作系统的位数,下载对应的版本
5,将下载好的文件放到指定位置如我放在了 E:\Twisted-20.3.0-cp38-cp38-win_amd64.whl e盘里
6,安装:pip install E:\Twisted-20.3.0-cp38-cp38-win_amd64.whl在你指定的文件位置安装
7,在使用pip install Scapy安装,同理如果出现了错误,在终端看红色
字体出现的提示,它会告诉你缺少什么包和依赖,你就先将缺少的东西先安装好能使用pip安装的使用pip安装,不能安装的就去我给的上面的网站下载相应的文件安装

8,总结,安装过程如下99%可以适用:
(1)pip install pyasn1 可直接pip 安装,这是一个作为Python包的ASN.1类型和编解码器的免费开源实现。它最初是为了支持特定的协议(SNMP)而编写的,但后来被推广为适用于基于ASN.1规范的各种协议。
(2) 安装twisted
(3)安装pywin32-300-cp38-cp38-win_amd64.whl和twisted操作一样
它直接包装了几乎所有的Windows API,可以方便地从Python直接调用,该模块另一大主要功能是通过Python进行COM编程
(4)pip install scrapy 完成
9,验证安装成功
打开终端输入python
输入如import scrapy如果没有显示错误就成功了
10,开始项目scarpy startproject spider E:
spider为爬虫名 后面你可以指定项目的位置
11,使用编译器导入文件的位置编写项目

上一篇:发布订阅模式


下一篇:python第三方库下载地址及安装第三方库的步骤(windows)