下面切入正题将爬虫:
站在巨人的肩膀上,能看的更高、更远!!!
初探爬虫,用pycharm + request模块。
新知识:
1.pip:
2.用pip安装request模块
新发现:pycharm可以直接安装request模块!!!
制作爬虫的基本步骤
一般来说,制作一个爬虫需要分以下几个步骤:
1、分析需求(对,需求分析非常重要,不要告诉我你老师没教你)
2、分析网页源代码,配合F12(没有F12那么乱的网页源代码,你想看死我?)
3、编写正则表达式或者XPath表达式(就是前面说的那个神器)
4、正式编写python爬虫代码
代码
#-*- coding:utf-8 -*-
import re
import requests
def downloadPic(html,keyword):
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
i = 0
print ('找到关键词:'+keyword+'的图片,现在开始下载图片...')
for each in pic_url:
print ('正在下载第'+str(i+1)+'张图片,图片地址:'+str(each))
try:
pic= requests.get(each, timeout=10)
except requests.exceptions.ConnectionError:
print ('【错误】当前图片无法下载')
continue
string = 'pictures'+keyword+'_'+str(i) + '.jpg'
我这里还整理了更多Python的资料
688244617
免费自取
来和我们一起学习交流吧
#resolve the proble
m of encode, make sure that chinese name could be store
fp = open(string,'wb')
fp.write(pic.content)
fp.close()
i += 1
if __name__ == '__main__':
word = input("Input key word: ")
url = 'http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word='+word+'&ct=201326592&v=flip'
result = requests.get(url)
downloadPic(result.text,word)
效果:
输入:高清风景图
结果发现:
原文:https://blog.csdn.net/QQQZSJ/article/details/90293683