Request库入门

2023-09-24 18:37:28

》》》Request库入门

Request库的7个主要方法

Request库入门

 

get（） 方法

　　requests.get

　　r = requests.get(url)

request库的两个重要对象

　　Response     Request  构造一个向服务器请求资源的Request对象

       返回一个包含服务器资源的Response对象（包含爬虫返回的所有内容，也包含请求的Request信息）

　　Response对象的属性　         

      Request库入门

 

>>> import requests
>>> r = requests.get("http://www.baidu.com")
>>> r.status_code
200
>>> r.text[:1000]
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA
-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/
cache/bdorz/baidu.min.css><title>ç\x99¾åº¦ä¸\x80ä¸\x8bï¼\x8cä½\xa0å°±ç\x9f¥é\x81\x93</title></head> <body link=#0000cc> <div id=wrapper>
 <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.co
m/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_co
me value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input ty
pe=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value 
maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input ty'
>>> type(r)
<class 'requests.models.Response'>
>>> r.headers  #HTTP Header中的所有内容
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Tue, 01 Feb 2022 12:49:30 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:52 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
>>> r.encoding  #从HTTP header中的charset字段中猜测的相应内容编码方式，若header中不存在charset,默认编码ISO-8859-1
'ISO-8859-1'
>>> r.apparent_encoding  #从网页内容分析出的相应内容编码方式（可看作r.encoding的备选）
'utf-8'
>>> r.encoding = "utf-8"  #更换编码方式
>>> r.text[:1000]
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Com
patible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bd
orz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div
 class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </d
iv> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value
=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=
hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></s
pan><span class="bg s_btn_wr"><input type=submit id=su va'

爬取网页的通用代码框架

request 库的异常　网络连接有风险，注意异常处理（Exception）

Request库入门

Response的异常

r.raise_for_status()  如果不是200，产生异常 requests.HTTPError

r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要 增加额外的if语句，该语句便于利用try‐except进行异常处理　

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()  #如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

两种情况的执行结果
>>>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=
Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css>
<title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <d
iv class=s_form_wrapper> <div id=lg> 
>>>
产生异常

HTTP协议及Requests库方法

>>> HTTP协议

HTTP，Hypertext Transfer Protocol，超文本传输协议 HTTP是一个基于“请求与响应”模式的、无状态的应用层协议 HTTP协议采用URL作为定位网络资源的标识，

URL格式： http://host[ :port ] [ path ]

host: 合法的Internet主机域名或IP地址

port: 端口号，缺省端口为80

path: 请求资源的路径

HTTP URL实例：

 

http://www.baidu.com

http://www.bit.edu.cn

http://220.181.111.188/duty

HTTP URL的理解：

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

>>> HTTP协议对资源的操作

Request库入门

通过URL和命令管理资源，操作独立无状态，网络通道及服务器成为了黑盒子

>>> 理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo，包括UserID、UserName等20个字段

需求：用户修改了UserName，其他不变

• 采用PATCH，仅向URL提交UserName的局部更新请求

• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除 PATCH的最主要好处：节省网络带宽

>>> HTTP协议与Requests库方法

相关字节一样的功能方法一致（eg: GET = requests.get( )）

Requests 库的head（）方法

Request库入门

Requests 库的post( )方法

>>> r = requests.post('http://httpbin.org/post',data = payload)
>>> print(r.text)
{                              
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {                           #向URL POST 一个字典
    "key1": "value1",              #自动编码为form（表单）
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-61f93933-49cd47826810d3367eb0b964"
  }, 
  "json": null, 
  "origin": "1.80.175.129", 
  "url": "http://httpbin.org/post"
}

Request库入门

>>> Requests库的put( )方法

Request库入门

>>> Request 库主要方法解析

requests.request(method , url , **kwargs)

∙ method : 请求方式，对应get/put/post等7种

r= requests.request('GET', url, **kwargs)

r = requests.request('HEAD', url, **kwargs)

r = requests.request('POST', url, **kwargs)

r = requests.request('PUT', url, **kwargs)

r = requests.request('PATCH', url, **kwargs)

r = requests.request('delete', url, **kwargs)

r = requests.request('OPTIONS', url, **kwargs)

∙ url : 拟获取页面的url链接

∙ **kwargs: 控制访问的参数，共13个,均为可选项

　　params : 字典或字节序列，作为参数增加到url中

Request库入门

　　data : 字典、字节序列或文件对象，作为Request的内容

Request库入门

　　json : JSON格式的数据，作为Request的内容

Request库入门

　　headers : 字典，HTTP定制头

Request库入门

　　cookies : 字典或CookieJar，Request中的cookie

　　auth : 元组，支持HTTP认证功能

　　files : 字典类型，传输文件

Request库入门

　　timeout : 设定超时时间，秒为单位

Request库入门

　　 proxies : 字典类型，设定访问代理服务器，可以增加登录认证

Request库入门

　　allow_redirects : True/False，默认为True，重定向开关

　　stream : True/False，默认为True，获取内容立即下载开关

　　verify : True/False，默认为True，认证SSL证书开关

　　cert : 本地SSL证书路径

requests.get(url,  params=None,  **kwargs)

∙ url : 拟获取页面的url链接

∙ params : url中的额外参数，字典或字节流格式，可选

∙ **kwargs: 12个控制访问的参数

requests.head(url,  **kwargs)

∙ url : 拟获取页面的url链接

∙ **kwargs: 12个控制访问的参数

requests.post(url, data=None, json=None, **kwargs)

∙ url : 拟更新页面的url链接

∙ data : 字典、字节序列或文件，Request的内容

∙ json : JSON格式的数据，Request的内容

.**kwargs: 12个控制访问的参数

requests.put(url, data=None, **kwargs)

∙ url : 拟更新页面的url链接

∙ data : 字典、字节序列或文件，Request的内容

∙ **kwargs: 12个控制访问的参数

requests.patch(url, data=None, **kwargs)

∙ url : 拟更新页面的url链接

∙ data : 字典、字节序列或文件，Request的内容

∙ **kwargs: 12个控制访问的参数

requests.delete(url,  **kwargs)

∙ url : 拟删除页面的url链接

∙ **kwargs: 12个控制访问参数

requests.get(url, params=None, **kwargs)

∙ url :拟获取页面的url链接

∙ params : url中的额外参数，字典或字节流格式，可选

∙ **kwargs: 12个控制访问参数

 

上一篇：性能压力测试工具之ApacheBench


下一篇：requests模拟请求百度翻译接口api,中文结果是Unicode,需要进行解码