-
requests是基于网络请求的模块
- pip install requests
-
作用和流程:模拟浏览器发起请求
-
1.指定url
url = "https://..."
-
2.发起请求
response = requests.get(url=url, headers=headers)
-
3.获取响应数据(爬取到的页面源码数据)
page_text = response.text
-
4.持久化存储
with open('./xx.html', 'w', encoding='utf-8') as fp: fp.write(page_text)
-
5.雪薇进阶点就直接解析放入excel或者数据库
-
相关文章
- 09-28[windows操作系统]windows模块
- 09-28python至winreg模块
- 09-28常用的re模块的正则匹配的表达式
- 09-28学爬虫前必备知识-数据提取
- 09-28day16 模块 正则表达式
- 09-28模块重点面试题
- 09-28CUDA npp运动检测模块性能测试
- 09-28树莓派传感器模块Sense HAT (B)的使用 多传感器(大气压 温湿度 气体浓度ADC采样)集合 通过一个.py文件运行
- 09-28Python之shutil模块
- 09-28Modularity模块化