如何用python爬取校花图片并保存到本地来？
1. 获取什么数据?
校花名字 name
校花所在学校 school
校花图片的url img_ulr
2.如何获取？
打开网页http://www.xiaohuar.com/hua/ ，打开开发工具，研究每一张图片对应的html，找规律
通过python 的scrapy框架进行批量爬取
环境声明：
python 3.50
scrapy 库
出现了哪些问题？
1. 如何去除重复的url？
通过对获取的url 进行md5，进行去重
2. 如何该网站上所有的校花信息？
先获取网页上所有的a标签，通过递归去取其他内容
3. 如何内容永久化？
写入文件，数据库等，该爬校花图片程序，我选择写入文件保存
如何创建与逻辑处理？
1. 新建爬虫项目
scrapy startproject pa_girls (通过命令行)
2. spiders 目录下，建立 一个叫 、school_girls.py文件
在school_girls.py文件中写入：
#!/usr/bin/python3 import scrapy
from scrapy.selector import HtmlXPathSelector
import hashlib
# 把item模块添加到环境变量
from items import Pa1Item # # 最终获取信息列表
# school_girl = [] # 获得总url，目的去重
all_urls = {} class SchoolGirls(scrapy.Spider):
name = 'school_girls'
# 初始url，依次
start_urls = [
'http://www.xiaohuar.com/hua/',
] def parse(self, response):
# 爬虫主体
try:
# 找标签
hxs = HtmlXPathSelector(response)
girls = Pa1Item()
# 获取标签中指定数据
school = hxs.select('//div[@class="img"]/div[@class="btns"]/a/text()').extract()
name = hxs.select('//div[@class="img"]/span[@class="price"]/text()').extract()
img_url = hxs.select('//div[@class="img"]/a/img/@src').extract()
if school and name and img_url:
girls['school'] = hxs.select('//div[@class="img"]/div[@class="btns"]/a/text()').extract()
girls['name'] = hxs.select('//div[@class="img"]/span[@class="price"]/text()').extract()
girls['img_url'] = hxs.select('//div[@class="img"]/a/img/@src').extract()
yield girls
else:
pass
#
# 获取页面的所有连接
page_urls = hxs.select('//a/@href').extract()
page_urls.append('http://www.xiaohuar.com/hua/')
# print(page_urls) # 进行url去重
url_list = {}
for url in page_urls:
if url.startswith('JavaScript') or url.startswith('#') or not url:
continue
else:
m = hashlib.md5()
m.update(bytes(url, encoding='utf-8'))
img_id = m.hexdigest()
# 判断是否重复url,重复就不需要再次访问
if img_id in all_urls:
continue
else:
all_urls[img_id] = url
url_list[img_id] = url # 递归查找该页面所有url
for url in url_list.values():
yield scrapy.Request(url=url, callback=self.parse)
except Exception as e:
print(e)
3. 在 items.py文件中写入
import scrapy class Pa1Item(scrapy.Item):
name = scrapy.Field()
school = scrapy.Field()
img_url = scrapy.Field()
4. 在pipelines.py文件中写入
import os
import requests class GirlsMessage(object):
'''获取有效数据'''
def process_item(self, item, spider):
for i in range(len(item['name'])):
if item['name'][i].strip() and item['school'][i].strip() and item['img_url'][i].strip(): # 把信息写入文件
message_girls = item['name'][i] + '_' + item['school'][i] + ':' \
+ 'http://www.xiaohuar.com/' + item['img_url'][i]
with open('E:\scrapy_new\img\message_girls.text', 'a+', encoding='utf-8') as f_girls:
f_girls.write(message_girls) # 下载图片
img_path = os.path.join('E:\scrapy_new\img', item['name'][i] +'_' + item['school'][i] +'.jpg')
img_url = 'http://www.xiaohuar.com/' + item['img_url'][i]
try:
img_date = requests.get(img_url).content
with open(img_path, 'bw',) as f_img:
f_img.write(img_date)
f_img.flush()
except Exception as e:
print(e)
return item
5. 在setting文件中添加
# 设置爬取深度
DEPTH_LIMIT = 1 # 激活pipelines中类
ITEM_PIPELINES = {
'pa_1.pipelines.GirlsMessage': 200,
}
可能会出现哪些问题？
1. items模块导入不了，如何解决
在spiders目录下的__init__.py文件中加入：
import os
import sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
如何启动项目？
scrapy crawl school_girls （需要在项目下，spiders目录下敲入命令）