爬虫学习一:bs下载图片+进度条

bs下载图片+进度条

刚开始学习爬虫,当然是从简单地开始,没有什么比爬点美女图片更能提起兴趣的了,这次要爬的网站是彼岸网,不废话,上代码

import requests
from bs4 import BeautifulSoup
from tqdm import tqdm

# 通过url解析获得网页内容
def parse_html(url):
    header = {
        'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
                        '94.0.4606.81 Safari/537.36'
    }
    res = requests.get(url, headers=header)
    return res.content.decode('utf-8', 'ignore')

# 通过bs在网页代码里找到图片网址 
def get_url_list(content):
    bs = BeautifulSoup(content, 'html.parser')
    img_list = bs.find_all('img')
    return [i.get('src') for i in img_list]

# 通过图片网址 下载图片
def download_img(url):
	# 因为网页里图片网址是不全的,首先要补全,可以通过很多方法获得,这里省事了,直接字符串拼接
    hole_url = 'https://pic.netbian.com' + url
    cont = requests.get(hole_url).content
    with open('1/{}.jpg'.format(url.split("/")[-1]), 'wb') as f:
        f.write(cont)


if __name__ == '__main__':
    url = 'https://pic.netbian.com/4kmeinv/'
    list = get_url_list(parse_html(url))
	# 使用tqdm,显示进度条
    d = {'loss': 0.2, 'learn': 0.8}
    for l in tqdm(list, desc='进行中', ncols=10):
        download_img(l)

心得

一、bs用法很灵活,非常灵活
二、解析html时候字符编号是很容易报错的地方,刚开始写res.content.decode(‘utf-8’) 总是报错,后来查攻略,发现写res.content.decode(‘utf-8’, ‘ignore’)才行
三、tqdm只是显得高大上一点,但要注意导入时要写from tqdm import tqdm,如果直接写 import tqdm会一直报错
四、代码是自己写的一个简单练习,仅用作记录,后期完善,加入翻页和其他功能

上一篇:基于BS架构高校疫情期间学生日常管理系统的分析与设计源码


下一篇:三体攻击(蓝桥杯省赛2018C/C++A组第七题) 前缀和与差分优化