requests库

1.概念:python中一个强大且简洁的HTTP库。用来发送HTTP请求。

2.请求方式:对应HTTP的请求方式,每种请求方式都有对应的方法,例如get请求对应get()方法。

3.统一资源定位符:url。例如:https://www.baidu.com/  由协议+域名+端口(端口一般默认不写)

4.传递url参数params:构建一个简单的字典,请求时将其传递给params参数。

5.传递form表单----data:使用post请求方式,构建一个字典,并将其传递给data参数,并且不能与json数据共存,二者只能存一。

6.传递json数据:使用post请求方式,构建一个字典,并将其传递给json参数。

7.自定义headers:同样的构建字典,将其传递给headers参数。

8.自定义cookies:使用requests发送请求后,获取response,response.cookies进而获取cookies

9.设置代理(ip):目的是不让服务端以为同一客户端在请求数据,进而更好的隐藏地址。

10.重定向(allow_redirects=):一般默认是开启重定向的,状态码为3开头时,默认是自动继续访问。

11.设置超时时间(timeout=):防止服务端不能及时响应,即超出这个时间就会报错。实际上爬虫中我们会搭配retrying模块的retry方法同时使用,通过装饰器的方式,让被装饰的函数反复执行,函数报错后重新执行,知道达到次数的上限,这其中有一次执行成功的程序继续往下执行(retry方法中传入参数:stop_max_attempt_number=)。

 

上一篇:改变事件执行顺序


下一篇:requests断点续传功能