基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化

文档内容:

  1:下载《hadoop权威指南》中的气象数据

  2:对下载的气象数据归档整理并读取数据

  3:对气象数据进行map reduce进行处理

关键词:《Hadoop权威指南》气象数据  map reduce  python  matplotlib可视化

一:下载《hadoop权威指南》一书中的气象数据

  《hadoop权威指南》一书中的气象数据位于 http://ftp3.ncdc.noaa.gov/pub/data/noaa/

  新建 getdata.py文件, 并加入如下代码:

 #http://my.oschina.net/chyileon/blog/134915
import urllib
import urllib2
from bs4 import BeautifulSoup
import re
import os
import shutil def getdata():
year = 1901
endYear = 1921
urlHead = 'http://ftp3.ncdc.noaa.gov/pub/data/noaa/' while year < endYear:
if os.path.isdir(str(year)):
shutil.rmtree(str(year))
os.mkdir(str(year)) page = urllib2.urlopen(urlHead+str(year))
soup = BeautifulSoup(page, from_encoding="gb18030") for link in soup.findAll('a'):
if link.getText().find('.gz') != -1:
filename = link.getText() urllib.urlretrieve(urlHead+str(year)+'/'+filename, str(year)+'/'+filename) year += 1 def main():
getdata() if __name__=="__main__":
main()

  运行getdata.py,将在当前目录下生成数据文件

二:对下载的气象数据归档整理并读取数据

  说明:上一步骤在当前目录下生成【1901】~【1921】 共20文件,文件里是压缩的气象数据,本步骤知识将数据移动data文件夹下 

  新建 movedata.py文件, 并加入如下代码:

 import os
import shutil def movedata(): curpath = os.getcwd()
list = os.listdir(curpath)
datapath = os.path.join(curpath, "data")
print(datapath)
for line in list:
filepath = os.path.join(curpath, line)
if os.path.isdir(filepath):
shutil.move(filepath,datapath) def main():
movedata() if __name__=="__main__":
main()

三:对气象数据进行map reduce进行处理

  说明:这里要读取文件中的数据内容,并通过将数据map reduce 化获取每年的最高、低温度

  1: 将文件中的数据内容逐行读出

    新建reader.py文件,并加入如下代码:

 import os
import gzip def reader(): curpath = os.getcwd()
datapath = os.path.join(curpath, r"data") for yearlist in os.listdir(datapath):
oneyearpath = os.path.join(datapath, yearlist)
datalist = os.listdir(oneyearpath)
for line in datalist:
onedatapath = os.path.join(oneyearpath, line)
with gzip.open(onedatapath, 'rb') as pf:
print (pf.read()) def main():
reader() if __name__=="__main__":
main()

    测试上面代码:在命令行运行 reader.py,查看输出

  2:通过mapper方法把数据处理成 "year \n temperature"的输出形式,如 "1901  242",其中 242 表示温度为24.2度

   新建mapper.py文件,并加入如下代码: 

 import sys

 def mapper(inlist):
for line in inlist:
if len(line) > 92:
year = (line[15:19])
if line[87] == '+':
temperataure = line[88:92]
else:
temperataure = line[87:92]
print year, temperataure def main(inlist):
mapper(inlist) if __name__=="__main__":
inlist = []
for line in sys.stdin:
inlist.append(line)
main(inlist)

  测试上面代码:在命令行运行  reader.py | mapper.py ,查看输出。(注:这是是利用管道,把reader.py的输出作为mapper.py的输入)

  3:通过reducer方法将mapper的输出数据整理并计算每年的最高、低温度,并输出

   新建reducer.py文件,并加入如下代码:

 import sys

 def reducer(inlist):
cur_year = None
maxtemp = None
mintemp = None
for line in inlist:
year, temp = line.split()
try:
temp = int(temp)
except ValueError:
continue
if cur_year == year:
if temp > maxtemp:
maxtemp = temp
if temp < mintemp:
mintemp = temp
else:
if cur_year != None:
print cur_year, maxtemp, mintemp
cur_year = year
maxtemp = temp
mintemp = temp
print cur_year, maxtemp, mintemp def main(inlist):
reducer(inlist) if __name__=="__main__":
inlist = []
for line in sys.stdin:
inlist.append(line)
main(inlist)

  测试上面代码:在命令行运行  reader.py | mapper.py | reducer.py,查看输出。

  4:使用matplotlib对每年的最高、低数据进行可视化

    新建drawer.py文件,并加入如下代码:

 import sys
import matplotlib.pyplot as plt def drawer(inlist):
yearlist = []
maxtemplist = []
mintemplist = []
for line in inlist:
year, maxtemp, mintemp = line.split()
try:
year = int(year)
maxtemp = int(maxtemp) / 10.
if(maxtemp) > 50:
maxtemp = 50
mintemp = int(mintemp) / 10.
except ValueError:
continue
yearlist.append(year)
maxtemplist.append(maxtemp)
mintemplist.append(mintemp)
plt.plot(yearlist, maxtemplist, 'bd--')
plt.plot(yearlist, mintemplist, 'rp:')
plt.xlim(1901, 1920)
plt.ylim(-60, 80)
plt.title('min-max temperature for 1901-1920')
plt.xlabel('year')
plt.ylabel('temperature')
plt.legend(('max temp','min temp'), loc='upper right')
plt.show()
print(yearlist, maxtemplist, mintemplist) def main(inlist):
drawer(inlist) if __name__=="__main__":
inlist = []
for line in sys.stdin:
inlist.append(line)
main(inlist)

  测试上面代码:在命令行运行  reader.py | mapper.py | reducer.py | drawer.py,查看输出。

  显示效果如下图:(注:在前面处理的数据中, 可能由于采样的错误,会有出现999.9度的最高温度, 显然不符常理。在本例中,没有对此种错误进行深究,一致将超度50度的温度处理成50度)

  基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其可视化

四 说明

  1. 本例中,其实第二步 对下载的气象数据归档整理并读取数据 是多余的, 可以直接在第一步中修改文件存储目录跳过第二步。但为了熟悉python对文件的操作,还是将第二步的代码保留了下来。

  2. 本例中,代码能运行得到实验目标,但并为对代码进行优化。请读者根据需要自行更改。

  3. python代码的一大特点就是看起来像伪代码,又本例python代码比较简单,故没有给出注释。

  

上一篇:hadoop入门级总结二:Map/Reduce


下一篇:Parquet与ORC:高性能列式存储格式(收藏)