power BI 天气数据爬取

2024-02-06 21:00:40

简介

本篇案例主要介绍如何通过power BI 构建爬虫抓取历史天气数据

数据爬取

如何从power bi 获取网页的数据

首先，打开需要爬起天气数据的网站，点击历史天气，之后可以看到全国各个省份和城市的列表
http://www.tianqihoubao.com/
全国省份和城市列表
大家可以根据自己想要爬取的城市来*选择

选择好城市之后，会列出该城市从2011年1月一直到目前的所有的天气数据，选择想要查看的年月分的连接，下面以郑州2019年1月为例

打开之后如下，显示这个月每一天的具体日期，天气状况，气温，风力风向

如果是只想爬取这一页的数据，打开 power bi ，在获取数据里面选择其他 – web

然后把连接地址粘贴上去点击确定

之后power bi 会自动分析网页，提取出数据信息
选择左边的表直接加载数据就ok了

这样抓取一页的数据太简单了。

下面咱们要做的是如何才能批量抓取数据

分析URL

通过点击不同城市和日期的连接，分析URL的变化规律

# 郑州 
http://www.tianqihoubao.com/lishi/zhengzhou/month/201803.html
http://www.tianqihoubao.com/lishi/zhengzhou/month/201901.html
http://www.tianqihoubao.com/lishi/zhengzhou/month/201904.html
# 鹤岗
http://www.tianqihoubao.com/lishi/hegang/month/201101.html
http://www.tianqihoubao.com/lishi/hegang/month/201108.html

可以发现有变化的地方只有城市名称和日期，

http://www.tianqihoubao.com/lishi/[城市名称]/month/[日期].html

那么我们就只需要设置【城市名称】和【日期】两个变量。就可以构建不同的城市和日期的天气页面的URL地址，有了URL地址就可以批量抓取多个城市，多个年份月份的天气数据了

构建爬虫

我门可以直接在power bi 中构建城市日期的列表，这样的话当需要更新数据的时候只需要在power bi 内部修改数据并刷新就可以得到最新的数据了

创建城市列表

打开power bi，选择【输入数据】，输入想要爬取的城市名称和所对应的拼音，
点击右上的 + 号，为添加新的一列
点击左下的 + 号，为添加新的行
列名可以双击来更改
下面蓝线标注的地方为表名
数据都设置好后，点击【编辑】，进行下一步日期的输入

创建日期列

日期列的创建可以通过 M 函数 #date 来创建
创建一个起始日期和一个结束日期，然后对这两个日期进行运算，得出起始日期和结束日期中间的所有的日期

先创建一个起始日期，在【添加列】选项下，点击【自定义列】，输入列名和日期公式，点击确定，如下：

然后创建一个结束日期，在【添加列】选项下，点击【自定义列】，输入列名和日期公式，点击确定

添加完成后的结果如下：有四列数据城市名称城市拼音起始日期结束日期

因为URL中用到的是年份和月份
下面添加所需要的年份和月份的列
首先，计算出起始日期到结束日期每一天的日期
点击【添加自定义列】输入如下公式

添加完之后展开此列，选择【扩展到新行】