具体步骤：
1、进入宝马官网，查找经销商查询界面
http://www.bmw.com.cn/cn/zh/general/dealer_locator/content/dealer_locator.html
2、使用火狐浏览（需要安装Firebug和HttpFox）
找到json数据存储位置：https://secure.bmw.com.cn/cn/_common/_js/dealer_locator/dealer_locator.json
3、查看json数据以后，json中包含省份，城市，店面类型，经销商信息，并且发现里面的经销商数据中包含地域的编号信息，所以决定制作省份字典、城市字典、类型字典，并且和经销商中数据进行比对输出。
4、得到省份信息主要代码：
def get_province_dict(self):
province_dict={}
#创建省份信息字典
json_data = urllib2.urlopen(self.index_url).read()
#读取json页面
jsons = json_data.split(';')
#将几组json数据分开
json_province = jsons[0][jsons[0].index('=')+1:-1]
#jsons[0]是省份信息
json_province = json_province+']'
#将得到的字符串整理成正常的json数据格式
provinces = json.loads(json_province)
#读取json数据
for province in provinces:
province_dict[province.get('id')] = province.get('nz')
#得到ID和省份名称存入相应的字典中
return province_dict
5、得到城市信息的方法遇上面一样
def get_city_dict(self):
city_dict={}
json_data = urllib2.urlopen(self.index_url).read() #读取json数据
#print json_data
jsons = json_data.split(';')
#print jsons[1]# 城市信息
json_city = jsons[1][jsons[1].index('=')+1:-1]
json_city = json_city+']'
citys = json.loads(json_city)
#print provinces
for city in citys:
#print province.get('nz')
city_dict[city.get('id')] = city.get('nz') for key in city_dict:#测试字典
print key
print city_dict[key]
return city_dict
6、获得店面类型的信息也类似
def get_type_dict(self):
type_dict={}
json_data = urllib2.urlopen(self.index_url).read() #读取json数据
#print json_data
jsons = json_data.split(';')
#print jsons[2]# 店面类型信息
json_type = jsons[2][jsons[2].index('=')+1:-1]
json_type = json_type+']'
types = json.loads(json_type)
#print provinces
for typea in types:
#print province.get('nz')
type_dict[typea.get('id')] = typea.get('nz')
return type_dict
7、由于json中店面的类型是通过ID与类型ID进行匹配的，所以需要将类型的名称与店面id进行匹配制成字典
def get_dealer_type_dict(self):
dealer_type_dict={}
types = self.get_type_dict()
#调用之前的类型方法，用于后面的匹配
json_data = urllib2.urlopen(self.index_url).read() #读取json数据
#print json_data
jsons = json_data.split(';')
#print jsons[4]# 店面与类型关系信息
json__delaer_type = jsons[4][jsons[4].index('=')+1:-1]
json__delaer_type = json__delaer_type+']'
delaer_types = json.loads(json__delaer_type)
#print provinces
for delaer_type in delaer_types:#有用31-34编号的信息不是所需信息搜易使用if剔除
if delaer_type.get('tp')==31:
continue
if delaer_type.get('tp')==32:
continue
if delaer_type.get('tp')==33:
continue
if delaer_type.get('tp')==34:
continue
print delaer_type.get('tp')
dealer_type_dict[delaer_type.get('br')] = types[delaer_type.get('tp')]
return dealer_type_dict
8、处理经销商数据方法
def get_dealer_info(self):
province_dict = self.get_province_dict()
city_dict = self.get_city_dict()
dealer_type_dict = self.get_dealer_type_dict() json_data = urllib2.urlopen(self.index_url).read() jsons = json_data.split(';')
#print jsons[3]#经销商信息
json_dealer = jsons[3][jsons[3].index('=')+1:-1]
#由于此处的json数据过大，致使json.loads()发生异常
#所以选择拼凑成列表的格式进行生成
json_dealer = json_dealer.replace('[','')
json_dealer = json_dealer.replace(']','')
json_dealer = json_dealer.replace('},','}},')
json_dealer = json_dealer.split('},')
#以上为拼凑过程
dealers = list(json_dealer)
#将字符串转变成列表
dealer_info_list = []
for dealer in dealers:
l={}
dealer = json.loads(dealer)
#字符减少可以使用json.loads()进行处理，得到字典
print dealer.get('nz')
l[Constant.PROVINCE] = province_dict[dealer.get('pv')]
#用经销商数据中的省份ID匹配省份字典中的ID，得到中文的省份名称
l[Constant.CITY] = city_dict[dealer.get('ct')]
l[Constant.TYPE] = dealer_type_dict[dealer.get('id')]
l[Constant.NAME] = dealer.get('nz')
l[Constant.ADDRESS] = dealer.get('az')
l[Constant.TEL] = dealer.get('tel')
l[Constant.EMAIL] = dealer.get('em')
l[Constant.WEBSHOP] = dealer.get('ws')
l[Constant.SINA] = dealer.get('wb')
l[Constant.LENDER] = dealer.get('fnz')
l[Constant.LENDERTEL] = dealer.get('ft')
l[Constant.AFTERSALE] = dealer.get('flt')
l[Constant.FAX] = dealer.get('fax')
l[Constant.POSTCODE] = dealer.get('zp')
dealer_info_list.append(l)
self.saver.add(dealer_info_list)#提交保存
self.saver.commit()
还有部分代码是用于将数据存入excel中的，就不贴出来了
最终结果是
我是爬虫新手，学python也就一个月，还是有高人指点的，代码很冗余，希望对新手有帮助，更希望高手提出意见，我加紧改进学习!!!!!!