初探scrapy,发现很多入门教程对应的网址都失效或者改变布局了,走了很多弯路。于是自己摸索做一个笔记。
环境是win10 python3.6(anaconda)。
安装
pip install scrapy
由于是第一次尝试,这次爬取美剧天堂(http://www.meijutt.com/)以下模块的剧名:
1.创建工程
scrapy startproject movie
2.编辑items.py,设置数据存储模版
# -*- coding: utf-8 -*- # Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html import scrapy class MovieItem(scrapy.Item):
# define the fields for your item here like:
name = scrapy.Field()
3.查看网页源代码,在spiders目录下创建爬虫文件meiju.py,如下:
# -*- coding: utf-8 -*-
import scrapy
from movie.items import MovieItem class MeijuSpider(scrapy.Spider):
name = "meiju"
allowed_domains = ["meijutt.com"]
start_urls = ['http://meijutt.com/'] def parse(self, response):
movies=response.xpath('//div[@class="c1_l_wap_contact"]/ul/li')
for each_movie in movies:
item=MovieItem()
item['name']=each_movie.xpath('./a/@title').extract()[0]
yield item
在parse函数中取文档中(//为选择匹配的节点,不考虑位置;/为选择根目录下的节点)属性为c1_l_wap_condact的div标签下的ul标签中的li标签。对每个元素选取a标签中的title属性。返回list格式,取第一个元素。(xpath语法参见 http://www.w3school.com.cn/xpath/xpath_syntax.asp)
yield函数的作用:“函数中使用yield,可以使函数变成生成器。一个函数如果是生成一个数组,就必须把数据存储在内存中,如果使用生成器,则在调用的时候才生成数据,可以节省内存。 ”
4.settings.py中增加以下内容,激活item pipeline组件:
ITEM_PIPELINES = {'movie.pipelines.MoviePipeline':100}
这里的整数值决定pipelines运行的先后顺序,小的先运行,大的后运行。整数值通常设置在0-1000之间。
为了避免莫名奇妙的报错,暂时设置ROBOTSTXT_OBEY = False。以后会尽量遵守君子协定吧。。
5.编辑pipelines.py
# -*- coding: utf-8 -*- # Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html class MoviePipeline(object):
def process_item(self, item, spider):
with open("my_meiju.txt",'ab+') as fp:
fp.write(item['name'].encode('utf-8')+'\n'.encode('utf-8'))
return item
为了写入中文并且每次写入新的一行而不要覆盖,使用'ab+'。'\n'也要转为utf8格式。
6.执行爬虫(在movie目录下)
scrapy crawl meiju
生成的txt文件会出现在目录下了。内容如下:
抵押第一季
沉默的天使第一季
此时此刻第一季
黑道无边第一季
芝加哥故事第一季
相对宇宙第一季
不列颠尼亚第一季
一起单身第一季
今天先探秘到这里~