使用Python3+requests库爬取海量精美图片(改良版)

安装requests库

打开cmd,输入命令:pip install requests

import re,os,time
import requests

os.mkdir('mm')
os.chdir('mm')

#请求头
head={}
head['User-Agent']='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'

#设置网站起始页码
cou=2350
while True:
    strcou=str(cou)
    cou=cou+1
    #网站首页地址
    url2='http://jandan.net/ooxx/page-'+strcou+'#comments'
    a=requests.post(url2,data=None,headers=head)
    res=a.content.decode('utf-8')
    #正则表达式匹配网址
    a=re.findall(r'//wx+.+?.jpg',res)
    #去掉列表中重复的网站点
    ll=list(set(a))
    #计算列表中有多少个网站
    b=len(ll)
    c=b-1
    while True:
        #这个是图片地址
        url='http:'+a[c]
        resp=requests.post(url,data=None,headers=head)
        res=resp.content
        #保存图片
        with open(str(int(time.time()))+'.jpg','wb') as f:
            f.write(res)
        c-=1
        if c==0:
            break

 

上一篇:Google Chrome及ChromeDriver版本参照表, 附带下载地址


下一篇:Java自动化笔记