爬虫学习打卡第二天——requests基础

2023-11-22 21:20:10

学习目标：

掌握基本requests知识，爬虫图虫网

学习内容：

1.requests模块安装

2.get 请求

3.params(请求头) 获取cookie

4.json转换

5.知乎爬取+反扒技术

6.抓取二进制数据例子1.爬取我自己的头像 2.美女照片

7. POST 请求（数据表单提交添加请求头提交json 普通文件上传）

学习产出：

1.requests模块安装

之前在终端pipx下载过

问题:pip install requests与!pip install requests的区别

个人觉得没有区别（如果大家有想法可以在评论区留言）

2.get 请求

1百度

#百度
import requests
r = requests.get("https://www.baidu.com/")
print(type(r))
print(r.status_code)
print(type(r.text))  
print(r.text)  
print(r.cookies)

输出没问题

csdn

403就是被阻拦的意思，200就是成功

3.params(请求头) 获取cookie

import requests 
data = {
    'name':'germey',
    'age':22
}
r = requests.get("http://httpbin.org/get",params=data)
print(r.text)

4.json转换

#json处理 将字符转字典
import requests 

r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))

网页的返回类型实际上是 str 类型，但是它很特殊，是 JSON 格式的。所以，如果想直接解析返回结果，得到一个字典格式的话，可以直接调用 json 方法。

5.知乎爬取+反扒技术

#知乎爬取+反扒技术
import requests
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
url='http://www.zhihu.com'
r=requests.get(url=url,headers=headers)
print(r.text)

6.抓取二进制数据例子1.爬取我自己的头像

#爬取csdn头像
import requests

headers={
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
}
url='https://profile.csdnimg.cn/C/0/2/1_qq_62932195'
r = requests.get(url=url,headers=headers)
with open('phpto.jpg', 'wb') as f:
    f.write(r.content)

保存在名字叫photo.jpg文件

中间有些小插曲：没找到自己csdn头像的链接

2.美女照片

感谢川川大佬指导


import os
import re
import json
import requests
import time
import urllib.parse
import random




#定义要爬取的标签和正在爬取的页数
def UserUrl(theme,pagenum):
    url = "https://tuchong.com/rest/tags/%(theme)s/posts?page=%(pagenum)s&count=20&order=weekly" % {'theme': urllib.parse.quote(theme), 'pagenum': pagenum}
    #print(url)
    return url

#利用requests使用get方法请求url，使用User-Agent是为了防止被反爬，这样使得我们的爬取行为更像人的行为
def GetHtmltext(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"
    }
    try:
        r = requests.get(url, headers=head, timeout=30)
        r.raise_for_status()  #如果返回的状态码不是200，就到except中
        return r
    except:
        pass

#定义获取一个pagenum页面中的所有图集的URL链接的函数
def PictureFatherUrl(user_url):
    try:
        raw_data = GetHtmltext(user_url)
        j_raw_data = json.loads(raw_data.text)   #将获取的网页转化为Python数据结构
        # print(j_raw_data)
        father_url = []                    #将每个图集的url定义为father_url的一个列表
        for i in j_raw_data['postList']:   #解析出的j_raw_data是一个多重字典，在这里先将postList字典的内容取出来
            father_url.append(i['url'])     #然后再取出键为“url”的值
        return father_url
    except:
        return

#定义获取一个图集中所有图片的url链接
def PictureUrl(url):
    try:
        html = GetHtmltext(url)
        #利用正则表达式来匹配
        url_list = list(re.findall('<img id="image\d+" class="multi-photo-image" src="([a-zA-z]+://[^\s]*)" alt="">', html.text))
        return url_list
    except:
        pass

#定义一个图集中所有图片的下载
def Download(url):
    url_list = PictureUrl(url)
    for i in url_list:
        r = GetHtmltext(i)
        file_name = os.path.join(save_path, i.split('/')[-1])
        with open(file_name, 'wb') as f:
            f.write(r.read())  # write并不是直接将数据写入文件，而是先写入内存中特定的缓冲区
            f.flush() # 将缓冲区的数据立即写入缓冲区，并清空缓冲区
            f.close() # 关闭文件
            
        time.sleep(random.uniform(0.3, 0.5))  #为防止被反爬，在这里random了0.3-0.5的数，然后在下载一张图片后，sleep一下
        print('下载成功保存至 %s' % file_name)

#定义主函数
if __name__ == '__main__':
    theme = input("你选择的标签（如果你不知道有什么标签，去https://tuchong.com/explore/去看看有什么标签吧，输入不存在的标签无法下载哦）：")
    pagenum_all = int(input("你要爬取的页数(不要太贪心哦，数字太大会被封IP的）："))
    save_path = os.path.join(theme)
    m = 0
    if not os.path.exists(save_path):
        os.makedirs(save_path)
        print("我知道你没有创建保存路径，我把文件存在和此脚本同样的路径下的叫做“ %s ”的文件夹下面了" % theme)
    for i in range(1, pagenum_all+1):
        n = 0
        m += 1
        print("正在下载第%d页，一共%d页" % (m, pagenum_all))
        user_url = UserUrl(theme, i)
        father_url = PictureFatherUrl(user_url)
        for j in father_url:
            n += 1
            print("正在下载第%d套图，一共%d套图" % (n, len(father_url)))
            Download(j)
            time.sleep(random.randint(6, 10))  #同样为了反爬，也random了6-10之间的数，更真实的模拟人的操作

这里就有一个问题了：保存的照片看不到

（如果有大佬知道欢迎在评论区指导一下）在c站试过好多方法还是没用

7. POST 请求（数据表单提交添加请求头提交json 普通文件上传）

import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
headers = {"User-Agent":"test request headers"}
 

r = requests.post(url,headers=headers)
print(r.text)

提交json

import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
data = {
    "sites": [
                { "name":"test" , "url":"https://blog.csdn.net/weixin_46211269?spm=1000.2115.3001.5343" },
                { "name":"google" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120703631?spm=1001.2014.3001.5501" },
                { "name":"weibo" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120659923?spm=1001.2014.3001.5501" }
    ]
}
 
r = requests.post(url,json=data)
# r = requests.post(url,data=json.dumps(data))
response = r.json()
print(response)

返回字典

普通文件上传

import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
#普通上传
files = {
            'file':open('test.txt','rb')
        }
 
r = requests.post(url,files=files)
print (r.text)

最后再次感谢川川大帅哥给我这个学习的机会

码农公寓

学习目标：

学习内容：

学习产出：

相关文章