爬虫---01.requests模块

  • requests是基于网络请求的模块

    • pip install requests
  • 作用和流程:模拟浏览器发起请求

    • 1.指定url

                      url = "https://..."
      
    • 2.发起请求

                      response = requests.get(url=url, headers=headers)
      
    • 3.获取响应数据(爬取到的页面源码数据)

                      page_text = response.text
      
    • 4.持久化存储

                      with open('./xx.html', 'w', encoding='utf-8') as fp:
                          fp.write(page_text)
      
    • 5.雪薇进阶点就直接解析放入excel或者数据库

上一篇:python的unittest+requets进行不数据驱动的测试


下一篇:第七次上机实验