requests模块
1.网络请求模块
1.urllib模块(古老比较麻烦)
2…requests模块(简单主要)
2.什么是requests模块
requests模块:Python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高。
requests作用:模拟浏览器发请求
3.requests 如何使用(requests模块的编码流程)
1.指定url
2.发起请求
3.获取响应数据
4.持久化存储
4.环境安装
pip install requests
5.实战编码
1.需求:爬取搜狗首页的页面数据
# 需求:爬取搜狗首页的页面内容
import requests
if __name__ == "__main__":
# step 1 指定url
url = "https://www.sogou.com/"
# step 2:发起请求
# get方法会返回一个响应对象
response = requests.get(url=url)
# step 3:获取响应数据,text返回的是字符串形式的响应数据
page_text = response.text
print(page_text)
# step 4:持久化存储
with open('./sougou.html','w',encoding='utf-8') as fp:
fp.write(page_text)
print('爬取数据结束!!!')
2.# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
#UA:User-Agent(请求载体的身份标识)
#UA伪装:门户网站的服务器会检测对应请求的载体身份标识,如果检测到请求的载体身份标识为某一款浏览器,
#说明该请求是一个正常的请求。但是,如果检测到请求的载体身份标识不是基于某一款浏览器的,则表示该请求为不正常的请求
#则服务器端就很有可能拒绝该次请求
#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__=="__main__":
#UA伪装:将对应的User-Agent封装到一个字典中
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
}
#step 1 指定url
url="https://www.sogou.com/web"
#处理url携带的参数:封装到字典中
kw=input('enter a word:')
param={
'query':kw
}
# step 2 发起请求
#对指定的url发起的请求对应的url是携带参数的,并且请求过程中处理了参数
response=requests.get(url=url,params=param,headers=headers)
page_text=response.text
fileName=kw+'.html'
with open(fileName,'w',encoding='utf-8')as fp:
fp.write(page_text)
print(fileName,'保存成功!!!')
3#破解百度翻译
#破解百度翻译
# 对应的请求是post请求(携带参数)
#响应数据是一组json数据
import json
import requests
if __name__=="__main__":
#step 1 指定url
post_url='https://fanyi.baidu.com/sug'
# 进行UA伪装
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
}
#3.post请求参数处理(同get请求一致)
word=input('enter a word:')
data={
"kw":word
}
#4.请求发送
reapinse=requests.post(url=post_url,data=data,headers=headers)
#5.获取响应数据:json()方法返回的是obj(如果确认响应数据是json类型的,才可以使用json())
dic_obj=reapinse.json()
#进行持久话存储
fileName=word+'.json'
fp=open(fileName,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print("over!!!")
4#爬去豆瓣电影分类排行榜
#爬去豆瓣电影分类排行榜
import requests
import json
if __name__=="__main__":
#step 1 获取url
url='https://movie.douban.com/j/chart/top_list'
param={
"type": "24",
"interval_id": "100:90",
"action":"",
"start": "1",#从库中的第几部电影取
"limit": "20"#一次取出的个数
}
# 进行UA伪装
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
}
resonse=requests.get(url=url,params=param,headers=headers)
list_data=resonse.json()
fp=open('./d.json','w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)
print("over!!!")