Python爬虫之scrapy跨页面爬取信息

昨天凌晨2点醒了看了下向右奔跑的文章,准备来个scrapy跨页面的数据爬取,以简书七日热门数据为例。

1 items.py代码

from scrapy.item import Item,Field

class SevendayItem(Item):
    article_url = Field()#文章链接在首页爬取
    author = Field()
    article = Field()
    date = Field()
    word = Field()
    view = Field()
    comment = Field()
    like = Field()
    gain = Field()

可以看出,我要爬取的数据不在一个页面,这时候就需要跨页面爬取了。

上一篇:分享《Linux设备驱动开发详解》第2版高清电子版


下一篇:《CCNA学习指南:Cisco网络设备互连(ICND1)(第4版)》——1.8节物理拓扑与逻辑拓扑的对比