凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

目录

爬虫仅供学习,其余概不负责,如需转载请私信问我!!!


前言

今天这个爬虫是一个很简单的爬虫,只要稍微有一点基础就能看懂,加油,奥里给,干就完事了!!!


凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!


网页分析


多页爬取URL部分

进入首页一看就知道是精品
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

滑到底部,好家伙,162页,(●ˇ∀ˇ●),够我玩的了!

凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

好了,话不多说,想要爬取,首先要弄懂URL

这是第一页的URL
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

第二页
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

第三页
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

这规律不用我多说把,根据当前页数修改p的值就OK了,但有的小伙伴可能会说:第一次没有p=1啊?

凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

可以看见我们去手动进行p=1访问第一页也是可以成功访问的

凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

小伙伴们要记号哦!

凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!


图片下载URL部分

本文对于数据解析使用的是Beautiful Soup,没了解过的小伙伴可见我的这篇好文!

Python爬虫利器之Beautiful Soup入门详解,实战总结!!!

打开控制台

可见,一个图片对应一个class值为item的div
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

标题

标题是在class值为item的div标签下的子class值为description的div标签下的h3标签中
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

下载URL

凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

def getUrl(curPage,data,page_path):
	# BeautifulSoup进行解析
    data = BeautifulSoup(data,"html.parser")
    div_list = data.find_all(class_="item")
    for div in div_list:
    	#拼接URL
        img_url = "https://bing.ioliu.cn" + div.find(class_="ctrl download")["href"]
        # 获取标题
        title = div.find(class_="description").find("h3").text
        # 因为保存图片名为标题,所以对标题的特俗字符进行处理
        title = replaceTitle(title)
        downLoadImg(curPage,title,img_url,page_path)

图片下载

def downLoadImg(curPage,title,img_url,page_path):
    print("正在爬取第" + str(curPage) + "页:" + title)
    # .content 二进制字节流
    img_res = requests.get(url=img_url,headers=headers).content
    # 保存为jpg图片,也可以为png哦!
    with open(page_path + "/" + title + ".jpg","wb") as f:
        f.write(img_res)
    f.close()


爬取结果(高清大图,看着都是享受)

因为测试,所以只怕爬取了两页
凌晨一点肝文⭐1920×1080⭐高清必应壁纸爬取,只为爬虫小白们入门!!!

都是1920×1080的哦!觉得不错的小伙伴可以给个三连,感谢支持

上一篇:Linux终端清屏


下一篇:Docker 容器搭建 Gitlab私服