Python - Windows下Scrapy爬虫框架环境配置和项目创建

文章目录

• Python - Windows下Scrapy爬虫框架环境配置和项目创建
• • 环境配置
  • • • • 0. 激活你的conda环境（可选）
        • 1. 安装Lxml库
        • 2. 安装zope.interface库
        • 3. 安装twisted库
        • 4. 安装pyOpenSSL库
        • 5. 安装pywin32库
        • 6. 安装Scrapy库
  • 创建项目
  • • • • 0. 切换到你要创建项目的目录
        • 1. 创建项目

---

环境配置

安装各种第三方库

pip切换国内镜像源
https://blog.csdn.net/sinat_21591675/article/details/82770360

0. 激活你的conda环境（可选）

conda activate env_name

1. 安装Lxml库

pip3 install lxml

2. 安装zope.interface库

pip3 install zope.interface

3. 安装twisted库

https://twistedmatrix.com/trac/

pip install twisted[tls]

4. 安装pyOpenSSL库

pip3 install pyOpenSSL

5. 安装pywin32库

pip3 install pywin32

接下来：

1. 本地找到pywin32的.dll动态链接库文件

2. 我的是在 C:\ProgramData\Anaconda3\envs\env_clean\Lib\site-packages\pywin32_system32
   

3. 复制到 C:\Windows\System32 目录下
   

6. 安装Scrapy库

pip3 install scrapy

---

创建项目

0. 切换到你要创建项目的目录

D # 输入盘符切换磁盘分区
cd your_dir

或shift + 鼠标右键（可能需要重新激活conda环境）

1. 创建项目

scrapy startproject project_name

到这里项目就创建完成了，在项目里面的spiders文件夹下创建你的代码即可