天气后报网——数据爬取(Scrapy框架)

1.创建天气后报网爬虫

  在开始编程之前,我们首先要根据项目需求对天气后报网站进行分析。目标是提取2016-2020年每个城市的每天的温度、天气状况、风力风向等数据。首先来到天气后报网(http://www.tianqihoubao.com/lishi/)。如图1所示。

  

  

天气后报网——数据爬取(Scrapy框架)

              图 1

  可以看到列表中每个省份下的城市信息,以北京市为例,点击进去,进入二级页面。

天气后报网——数据爬取(Scrapy框架)

、              图 2 

   以2011年1月北京天气为例,进入三级页面(详情页面),其中可以看到日期、天气状况、气温、风力风向等所需的信息。

天气后报网——数据爬取(Scrapy框架)

               图

上一篇:[快速傅立叶变换&快速傅里叶变换]【旧 手写笔记】


下一篇:php访问mysql 封装