Python3实现简单的爬虫功能

python3简单实现一个爬去网站图片的小功能:

   有时候想要下载自己喜欢的多个图片时,不需要一个个点击来下载,使用python脚本批量拉取,并保存到本地。

1. 首先找到自己要下载图片的url

Python3实现简单的爬虫功能

2. 上代码:

 #!/usr/bin/env python
# -*- coding: utf-8 -*-
# __Author__: 陌路疏途 # 四部曲:1.导入模块 2.获取网页源码 3.正则匹配下载 4.调用函数 import urllib.request #获取网址模块
import re #正则匹配模块 #定义获取网页源代码函数
def gethtml():
papg = urllib.request.urlopen('http://www.wmpic.me/tupian/cute') #打开图片的网址
html = papg.read() #用read方法读成网页源代码,格式为字节对象
html = html.decode('UTF-8') #定义编码格式解码字符串(字节转换为字符串)
return html #匹配 def getimg(html):
imgre = re.compile(r' src="(.*?)" class=')#正则匹配,compile为把正则表达式编译成一个正则表达式对象,提供效率。
imglist = re.findall(imgre, html)#获取字符串中所有匹配的字符串
x = 0 #定义全局变量默认为0
for imgurl in imglist: #循环图片字符串列表并输出
print(imgurl) #下载
urllib.request.urlretrieve(imgurl,'D:\\pictures\%s.jpg' % x)#把图片下载到本地并指定保存目录
x += 1 #每次自增1
print("正在下载第%s张" % x)#格式化输出张数 #调用函数
html = gethtml() print(getimg(html))

3. 执行脚本输出信息

Python3实现简单的爬虫功能

4. 进入保存图片路径查看:

Python3实现简单的爬虫功能

图片已经拉取下来,这样可以很容易得到自己想要的很多图片。而不用一个个点击下载。

上一篇:关于redis的几件小事(九)redis的并发竞争问题


下一篇:《Java程序员面试笔试宝典》终于在万众期待中出版啦~