Python scrapy------分类获取美团整站数据

欢迎联系讨论:qq:1170370113

以下是我们获取美团页面的城市信息

Python scrapy------分类获取美团整站数据

获取到了城市信息以后我们可以进行分类保存,以便于后续能够分类获取数据

    Python scrapy------分类获取美团整站数据

获取我们需要城市的景区的所有相关id并且进行保存

        Python scrapy------分类获取美团整站数据

最后根据我们获取的相关的ids在进行每个城市逐个获取数据,并最终保存到我们的TXT文件中

    Python scrapy------分类获取美团整站数据

Python scrapy------分类获取美团整站数据

其他数据就占时不截图了,整站数据获取的思路大致就是这样。

上一篇:不得不玩玩NHibernate


下一篇:Ajax异步刷新地址栏