网络爬虫环境的配置与应用

2023-12-05 12:40:52

网络爬虫
- 首先搭建网络爬虫所需要的环境
  - requests
    - 主要用于请求指定的链接，获取对应的响应信息，如响应码，response信息等
    - 通过pip进行安装，使用pip install requests
  - fake_useragent
    - 如果我们要请求的链接对应的网页中设置了反扒机制，那么可能会导致，我们
      只是用requests进行请求会被阻拦，通过设置useragent来模拟用户操作
    - 通过pip进行安装，使用pip install fake_useragent
  - bs4
    - 当我们通过requests进行请求后，获取到的数据信息为网页代码，所以如果我们要进行提取制定数据时候，需要通过指定标签，获取标签中的数据信息
    - 使用pip进行安装，pip install bs4
  - 安装视频教程