Python3编写网络爬虫09-数据存储方式二-JSON文件存储

2.JSON文件存储

全称为JavaScript Object Notation 通过对象和数组的组合来表示数据,构造简洁且结构化程度非常高。
是一种轻量级的数据交换格式

2.1 对象和数组

在JavaScript中 一切皆对象。 因此任何类型都可以通过json来表示,如 字符串,数字,对象,数组等

对象 : 在JavaScript中使用{}括起来 数据结构为{key1:value,key2:value2...}的键值对结构
在面向对象中 key为对象的属性,value为对应的值,键名可以使用整数和字符串表示,值的类型可以是任意类型。
数组 : 数组在JavaScript中使用方括号[] 括起来 数据结构为["java","JavaScript","Python"...]索引结构。
在JavaScript中数组是一种比较特殊的数据类型,可以像对象那样使用键值对,更多的是索引,值可以是任意类型。

示例:

[{
"name" : "Bod",
"gender" : "male",
"birrhday" : "1992-10-19"
},{
"name" : "Selina",
"gender" : "female",
"birthday" : "1995-10-18"
}]

JSON 可以是以上两种形式*组合,无限次嵌套,结构清晰,数据交换的极佳方式。

2.2 读取JSON

Python为我们提供了简易的JSON库实现JSON文件的读写操作。
可以调用 loads()方法将JSON文本字符串转为JSON对象,
dumps() 方法将JSON对象转为文本字符串

示例:

import json
str1 = '''
[{
"name" : "Bod",
"gender" : "male",
"birrhday" : "1992-10-19"
},{
"name" : "Selina",
"gender" : "female",
"birthday" : "1995-10-18"
}]
'''
print(type(str1))#str
data = json.loads(str1)
print(data)
print(type(data))#list

通过索引来获取对应的内容 例如 第一个元素的name属性

print(data[0]['name'])
print(data[0].get('name'))

推荐第二种方式 get()方法 如果键名不存在 不会报错 返回None 另外可以传入第二个参数 默认值

print(data[0].get('age'))
print(data[0].get('age',20))

注意: JSON的数据需要用双引号括起来 不能使用单引号

示例:

import json
str1 = '''
[{
'name' : 'Bod',
'gender' : 'male',
'birrhday' : '1992-10-19'
},{
'name' : 'Selina',
'gender' : 'female',
'birthday' : '1995-10-18'
}]
''' data = json.loads('str1')

报错 解析错误

如何读取文本文件json内容

import json

with open('data.json','r') as file:
str1 = file.read()
data = json.loads(str1)
print(data)

2.3 输出JSON

调用 dumps() 将JSON对象转化为字符串

示例:

import json

data = [{
"name" : "Bod",
"gender" : "male",
"birrhday" : "1992-10-19"
}]
with open('data.json','w') as file:
file.write(json.dumps(data,indent=2))#indent 缩进字符个数

如果JSON包含中文字符

示例:

import json

data = [{
"name" : "小米",
"gender" : "男",
"birrhday" : "1992-10-19"
}]
with open('data.json','w') as file:
file.write(json.dumps(data,indent=2))#indent 缩进字符个数

结果中文字符 变成了Unicode字符 需要指定参数 ensure_ascii=False

示例:

import json

data = [{
"name" : "小米",
"gender" : "男",
"birrhday" : "1992-10-19"
}]
with open('data.json','w') as file:
file.write(json.dumps(data,indent=2,ensure_ascii=False))#indent 缩进字符个数

后面做数据分析时会经常用到 需熟练掌握

上一篇:margin标记可以带一个、二个、三个、四个参数,各有不同的含义。


下一篇:PLSQL中使用二维存储结构---二维数组