原文关于读取pm25.in气象数据的pyhton方法，以及浅析python json的应用
以pm25.in网站数据为例。
1、方法介绍
首先感谢pm25.in提供了优质的空气污染数据，为他们的辛勤劳动点个赞。是python3.3，windows系统，读取数据的时候用到了python的json处理的4个方法，很经典常用。所谓4个方法是：
a) json.loads()
输入string，返回json。
b) json.dumps()
输入json类型的数据，返回包含json数据的string，可以这样用的好处是可以进行按key字典排序，json.dumps( json_res, sort_keys=True).
c) json.load()
输入类文件对象，返回json对象，
json.load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw)
d) json.dump()
输入json对象，用法:
json.dump(obj,fp,skipkeys=False,ensure_ascii=True,check_circular=True,allow_nan=True,cls=None, indent=None, separators=None,default=None,sort_keys=False, **kw)，obj是json对象，fp是要保存的文件。
说明：
包含utf-8编码的html在被windows系统下保存时，会在文件头有BOM，ultraedit编辑器十六进制看到开头是EF BB BF，这个事情很捣乱，导致读取json数据文件时报错，解决办法是：data_file = open(r'c:\Python33\all_data',encoding='utf_8_sig').read()
加上encoding='utf_8_sig'，否则一个json数据开头为BOM标记，整个程序无法识别。
还有要注意，整个传递值的时候，必须统一用utf-8编码，一但不用会产生很多混乱，开始没有注意耽误了不少时间。如
# 请求数据
def requestData( data_file):
# 输入str，返回json数据
json_res = json.loads(data_file, encoding='utf-8')
# 输入json，返回str，目的是排序
encodedjson = json.dumps(json_res, sort_keys=True)
# 输入str，返回json，务必要以utf-8加载json数据
decodejson = json.loads(encodedjson, encoding='utf-8')
return decodejson
2、json数据的分类
json数据分为两类:
一个是对象，如{'a':1,'b':2},或者{'c':3,'d':4}，对应python里的dict
一个是json数组，[{'a':1,'b':2},{'c':3,'d':4}],相当于2维数组，相当于python的一个list，dict里的对象的位置是随机的，要想用固定顺序需要用dict = collections.OrderedDict()，如本来是{'a':1,'b':2}，普通dict输出可能是{'b':2，'a':1},只有OrderDict才是保证{'a':1,'b':2}这样的输出。
3、pyhton的excel处理
codecs.open(out_file, 'a', 'gbk')
dictWriter = csv.DictWriter(f, list(d.keys()))
dictWriter.writeheader()是写excel文件的列名，只写一次， dictWriter.writerow(d)是按行写数据。
PS: 如果想要加入crontab 需要在文件头加#!/usr/bin/python,否则不行。
4、实现
下面全部程序：
# 请求数据
def requestData(data_file):
# 输入str，返回json数据
json_res = json.loads(data_file, encoding='utf-8') # 输入json，返回str，目的是排序
encodedjson = json.dumps(json_res, sort_keys=True) # 输入str，返回json，务必要以utf-8加载json数据
decodejson = json.loads(encodedjson, encoding='utf-8') return decodejson # 输出数据
def out_data(out_file, d):
if not os.path.exists(out_file):
print(out_file)
header = False
else:
header = True
f = codecs.open(out_file, 'a', 'gbk')
dictWriter = csv.DictWriter(f, list(d.keys()))
# only write header when create a new csv
if not header:
dictWriter.writeheader() dictWriter.writerow(d) f.close() # 主程序
if __name__ == '__main__': # data_file = open(r'c:\Python33\all_data',encoding='utf_8_sig').read()
nowstrp = time.localtime()
out_file = time.strftime('%Y%m%d', nowstrp) + '.csv'
d = collections.OrderedDict() headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'}
chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey(appkey自己去申请，5工作日给答复)'
# ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)
# 创建request请求
url_request = urllib.request.Request(chaper_url, data=None, headers=headers)
# 打开网址
url_file = urllib.request.urlopen(url_request) if (url_file.getcode() == 200): chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey'
else:
chaper_url = 'http://www.pm25.in/api/querys/all_cities.json?token=appkey' try:
print(chaper_url) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)
# 创建request请求
url_request = urllib.request.Request(chaper_url, data=None, headers=headers)
# 打开网址
url_file = urllib.request.urlopen(url_request)
data_file = url_file.read().decode('utf-8') # status code: 200 OK
while (url_file.getcode() != 200):
raise Exception('Server connection error, status code:' + ' ')
# request again after 3min
time.sleep(3 * 60) headers = {'User-Agent': 'Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0)'} # ie9:Mozilla/5.0(compatible;MSIE 9.0;Windows NT 6.1;Trident/5.0) url_request = urllib.request.Request(chaper_url, data=None, headers=headers) url_file = urllib.request.urlopen(url_request)
data_file = url_file.read().decode('utf-8')
# 返回数据为json格式
# json_res = data_file.read().decode('utf-8') decodejson = requestData(data_file)
# 存储json天气数据为data_json.txt
f = open('data_json.txt', 'w', encoding='utf-8')
json.dump(decodejson, f)
f.close()
# 下面一句是当数据文件为本机的文件时，才用到的必须加utf_8_sig
# data_final=open(r'c:\Python33\11.txt',encoding='utf_8_sig').read() for element in decodejson:
print(element)
d['area'] = element['area']
d['position_name'] = element['position_name']
d['aqi'] = element['aqi']
d['co'] = element['co']
d['co_24h'] = element['co_24h']
d['no2'] = element['no2']
d['no2_24h'] = element['no2_24h']
d['o3'] = element['o3']
d['o3_24h'] = element['o3_24h']
d['o3_8h'] = element['o3_8h']
d['o3_8h_24h'] = element['o3_8h_24h']
d['pm10'] = element['pm10']
d['pm10_24h'] = element['pm10_24h']
d['pm2_5'] = element['pm2_5']
d['pm2_5_24h'] = element['pm2_5_24h']
d['primary_pollutant'] = element['primary_pollutant']
d['quality'] = element['quality']
d['so2'] = element['so2']
d['so2_24h'] = element['so2_24h']
d['station_code'] = element['station_code']
d['time_point'] = element['time_point'] # 逐行写excel文件
out_data(out_file, d) # os.system('pause')
# time.sleep(180) except Exception as e:
error = traceback.format_exc() + '\r\n'
print(error)
print('\r\n')
f = codecs.open('error.log', 'a', 'utf-8')
f.writelines(error)
f.close()
os.system('pause')