requests下载

 pip install requests
 pip install -i https://doubanio.com/simple/ requests

常用的方法

响应

 import requests
 ​
 requests.get()
 requests.post()
 r = requests.request(method='get', url='')
 r.status_code
 r.encoding   # 查看编码
 r.encoding = "GBK"    # 指定编码
 r.content  # 字节类的数据,比如图片
 r.iter_content(chunk_size)
 r.text   # 文本类型的数据
 r.json   # 获取json类型的返回值,注意,如果接口不是json类型的返回,会报错
 r.cookies   # 获取cookies
 r.cookies.get_dict   # 返回字典类型的cookies
 r.url    # 请求的url
 r.headers

请求

 import requests
 from fake_useragent import UserAgent
 r = requests.request(
     method='get', 
     url='',
     params={"k1":"v1"},  # 适用于get请求, 也可以将参数写在URL上
     data={"user": "zhangkai"},   # 使用与post请求,带的参数
     json={"k1":"v1"}, # 适用于参数必须是json串的请求,一般用于post请求
     headers={"User-Agent":UserAgent().random},  # 为请求添加请求头
     cookies={"cookies": "xxweqasdqawe"}, # 携带cookies
     files={"file": open("a.txt", 'rb').read()}  # 上传文件
 )

 

bs4

下载

 pip install BeautifulSoup4
 from bs4 import BeautifulSoup   # 引入

常用

 a = '<a href="https://wwww.baidu.com" class="xx">访问百度</a>'
 soup = BeautifulSoup(a, "html.parser")   # 其他解析器:lxml
 # 找一个标签,如果找到的标签有多个,取第一个
 soup.find(name="a", attrs={"class": "xx"})
 # 找所有的标签
 a_obj = souo.find_all(name="a")
 # 获取标签对象的文本
 a_obj.text
 # 获取标签对象的属性
 a_obj.get("属性名")