json解析模块

 json.loads(json)

• 作用
  把json格式的字符串转为Python数据类型
• 示例
  html_json = json.loads(res.text)

json.dump(python,f,ensure_ascii=False)

• 作用
  把python数据类型 转为 json格式的字符串 # 一般让你把抓取的数据保存为json文件时使用
• 参数说明
  第1个参数: python类型的数据(字典，列表等)list dict 第2个参数: 文件对象text.txt 第3个参数: ensure_ascii=False # 序列化编码
• 示例1

import json  item = {'name':'QQ','app_id':1} with open('xiaomi.json','a') as f:json.dump(item,f,ensure_ascii=False)

• 示例2

import json  item_list = [] for i in range(3):   item = {'name':'QQ','id':i}   item_list.append(item)      with open('xiaomi.json','a') as f:  json.dump(item_list,f,ensure_ascii=False)

json.dumps(python)

• 作用
  把 python 类型 转为 json 类型
• 示例

import json  # json.dumps()之前 item = {'name':'QQ','app_id':1} print('before dumps',type(item)) # dict # json.dumps之后 item = json.dumps(item) print('after dumps',type(item)) # str

json.load(f)

• 作用
  将json文件读取,并转为python类型
• 示例

import json  with open('D:\\spider_test\\xiaomi.json','r') as f:     data = json.load(f)      print(data)

json模块总结
爬虫最常用
1、数据抓取 - json.loads(html) 将响应内容由: json 转为 python
2、数据保存 - json.dumps(item_list,f,ensure_ascii=False)

将抓取的数据保存到本地json文件 # 抓取数据一般处理方式
1、txt文件
2、csv文件
3、json文件
4、MySQL数据库
5、MongoDB数据库
6、Redis数据库