json,pickle,shelve模块,xml处理模块

2023-08-25 14:01:28

常用模块学习—序列化模块详解

  • 什么叫序列化？

    • 序列化是指把内存里的数据类型转变成字符串，以使其能存储到硬盘或通过网络传输到远程，因为硬盘或网络传输时只能接受bytes。

  • 为什么要序列化？

    • 你打游戏过程中，打累了，停下来，关掉游戏、想过2天再玩，2天之后，游戏又从你上次停止的地方继续运行，你上次游戏的进度肯定保存在硬盘上了，是以何种形式呢？游戏过程中产生的很多临时数据是不规律的，可能在你关掉游戏时正好有10个列表，3个嵌套字典的数据集合在内存里，需要存下来？你如何存？把列表变成文件里的多行多列形式？那嵌套字典呢？根本没法存。所以，若是有种办法可以直接把内存数据存到硬盘上，下次程序再启动，再从硬盘上读回来，还是原来的格式的话，那是极好的。
data = {

    'roles':[

        {'role':'monster','type':'pig','life':50},

        {'role':'hero','type':'关羽','life':80},

    ]

}

#将数据写入game_status文件

#f = open("game_status","w")

#f.write(str(data))

#将数据从game_status文件读出来

f = open("game_status","r")

d = f.read()

d = eval(d)

print(d['roles'])

#把内存数据转成字符，叫序列化

#把字符转成内存数据，叫反序列化

  • 用于序列化的两个模块：

    • json，用于字符串 和 python数据类型间进行转换

    • pickle，用于python特有的类型 和 python的数据类型间进行转换

常用模块学习—序列化json模块详解

Json模块提供了四个功能：

  • dumps（将数据通过特殊的形式转换为只有python语言认识的字符串）（用于将dict类型的数据转成str）

  • dump（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）（用于将dict类型的数据转成str，并写入到json文件中）

  • loads（将str类型的数据转换成dict）

  • load（用于从json文件中读取数据）

import json

#1、

data = {

    'roles':[

        {'role':'monster','type':'pig','life':50},

        {'role':'hero','type':'关羽','life':80},

    ]

 }

#d = json.dumps(data)         #dumps里存一个值

#print(d,type(d))

f = open("test.json","w")       #json格式的文件，以json为拓展名

json.dump(data,f)        #转入字符并写入文件。    #dump里存两个值

#2、

data = {

    'roles':[

         {'role':'monster','type':'pig','life':50},

         {'role':'hero','type':'关羽','life':80},

    ]

 }

d = json.dumps(data)     #仅转成字符串

d2 = json.loads(d)

print(d2['roles'])             #结果为：[{'role': 'monster', 'type': 'pig', 'life': 50}, {'role': 'hero', 'type': '关羽', 'life': 80}]

#3、从文件中加载回来

# data = {

#     'roles':[

#         {'role':'monster','type':'pig','life':50},

#         {'role':'hero','type':'关羽','life':80},

#     ]

# }

f = open("test.json","r")

data = json.load(f)

print(data['roles'])       #结果为：[{'role': 'monster', 'type': 'pig', 'life': 50}, {'role': 'hero', 'type': '关羽', 'life': 80}]

f.close()

#只是把数据类型转成字符串存到内存里的意义？

#json.dumps      json.loads

#1、把你的内存数据 通过网络 共享给远程其他人（硬盘或网络传输时只能接受bytes ）

#2、定义了不同编程语言之间的交互规则

     #纯文本  缺点：不能共享复杂的数据类型

     #xml     缺点：占的空间大,效率低

     #json    优点：简单，占的空间小，可读性好
import json

#dump 多次

f = open("json_file","w",encoding="utf-8")

d = {'name':'alex','age':22}

l = [1,2,3,4,'rain']

json.dump(d,f)

json.dump(l,f)

# load 多次

f = open("json_file", "r", encoding="utf-8")

json.load(f)

'''

    raise JSONDecodeError("Extra data", s, end)

json.decoder.JSONDecodeError: Extra data: line 1 column 28 (char 27)

'''

#JSONDecodeError,json反序列化错误

#为了避免各种不必要的问题，建议不要使用多次dump

常用模块学习—序列化pickle模块详解

  • Pickle模块提供了四个功能：

    • dumps（将数据通过特殊的形式转换为只有python语言认识的字符串）

    • dump（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）

    • loads（将数据通过特殊的形式转换为所有程序语言都认识的字符串）

    • load（将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件）

import pickle

'''

d = {'name':'alex','age':22}

l = [1,2,3,4,'rain']

#pk = open("data.pkl","w")

pk = open("data.pkl","wb")      #二进制格式写

#print(pickle.dumps(d))

#结果为：b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x04\x00\x00\x00alexq\x02X\x03\x00\x00\x00ageq\x03K\x16u.'

#pickle.dump(d,pk)

#结果为：#TypeError: write() argument must be str, not bytes

pickle.dump(d,pk)

'''

#取出来

f = open("data.pkl","rb")           #二进制格式读

d = pickle.load(f)

print(d)                            #结果为：{'name': 'alex', 'age': 22}

#与json一样，不能多次dump和load多次；
import pickle,json

#函数

def sayhi():

    print('dddd')

　　

pickle.dumps(sayhi)

json.dumps(sayhi)          #结果为：raise TypeError(f'Object of type {o.__class__.__name__} ' TypeError: Object of type function is not JSON serializable

'''

小结：

json 能序列化的数据类型只支持 str, int, tuple, list, dict

     支持跨平台使用

pick 能序列化的数据类型支持python里的所有的数据类型

     只能在Python里使用

'''

常用模块学习—序列化shelve模块详解

  • shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式。

import shelve

#序列化

f = shelve.open('shelve_test')

names = ["alex","rain","test"]

info = {'name':'alex','age':22}

f["name"] = names #持久化列表

f['info_dic'] = info

f.close()

#反序列化

d = shelve.open('shelve_test')

print(d)                      #结果为：<shelve.DbfilenameShelf object at 0x00000275FCCC3160>

print(d['name'])             #结果为：['alex', 'rain', 'test']

print(d['info_dic'])        #结果为：{'name': 'alex', 'age': 22}

print(d.keys())               #结果为：KeysView(<shelve.DbfilenameShelf object at 0x0000029DA6D03390>)

print(list(d.keys()))         #结果为：['name', 'info_dic']

print(list(d.items()))        #结果为：[('name', ['alex', 'rain', 'test']), ('info_dic', {'name': 'alex', 'age': 22})]

print(d.get('name'))         #结果为：['alex', 'rain', 'test']

print(d.get('info_dic'))    #结果为：{'name': 'alex', 'age': 22}

#修改

print(d['name'])             #结果为：['alex', 'rain', 'test']

d['name'] = ['alex', 'Rain Wang', 'test']

print(d['name'])             #结果为：['alex', 'rain', 'test']

d.close()

#del d['test'] #还可以删除

常用模块学习—xml处理模块详解

  • xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

import xml.etree.ElementTree as ET      #as 起别名

tree = ET.parse('xml test')       #open

root = tree.getroot()              #相当于f.seek(0)

#print(dir(root))                  #结果为：['__class__', '__copy__', '__deepcopy__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__getstate__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setitem__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'attrib', 'clear', 'extend', 'find', 'findall', 'findtext', 'get', 'getchildren', 'getiterator', 'insert', 'items', 'iter', 'iterfind', 'itertext', 'keys', 'makeelement', 'remove', 'set', 'tag', 'tail', 'text']

#print(root.tag)                   #结果为：data

#遍历xml文档

for child in root:

    print('---------',child.tag, child.attrib)

    for i in child:

        print(i.tag,i.text)

'''

结果为：

--------- country {'name': 'Liechtenstein'}

rank 2

year 2008

gdppc 141100

neighbor None

neighbor None

--------- country {'name': 'Singapore'}

rank 5

year 2011

gdppc 59900

neighbor None

--------- country {'name': 'Panama'}

rank 69

year 2011

gdppc 13600

neighbor None

neighbor None

'''

#只遍历year 节点

for node in root.iter('year'):

    print(node.tag,node.text)

#结果为：

# year 2008

# year 2011

# year 2011
import xml.etree.ElementTree as ET      #as 起别名

tree = ET.parse('xml test')       #open

root = tree.getroot()              #相当于f.seek(0)

#修改

# for node in root.iter('year'):

#     new_year = int(node.text) + 1

#     node.text = str(new_year)

#     node.set("attr_test","yes")

#

# tree.write("xml test")     #向文件中循环写入数据

#删除node

for country in root.findall('country'):

   rank = int(country.find('rank').text)

   if rank > 50:

     root.remove(country)

tree.write('output.xml')
#xml test

<data>

    <country name="Liechtenstein">

        <rank updated="yes">2</rank>

        <year attr_test="yes">2009</year>

        <gdppc>141100</gdppc>

        <neighbor direction="E" name="Austria" />

        <neighbor direction="W" name="Switzerland" />

    </country>

    <country name="Singapore">

        <rank updated="yes">5</rank>

        <year attr_test="yes">2012</year>

        <gdppc>59900</gdppc>

        <neighbor direction="N" name="Malaysia" />

    </country>

    <country name="Panama">

        <rank updated="yes">69</rank>

        <year attr_test="yes">2012</year>

        <gdppc>13600</gdppc>

        <neighbor direction="W" name="Costa Rica" />

        <neighbor direction="E" name="Colombia" />

    </country>

    <state>

        <name>德州</name>

        <population>德州</population>

    </state>

</data>
#output.xml

<data>

    <country name="Liechtenstein">

        <rank updated="yes">2</rank>

        <year attr_test="yes">2009</year>

        <gdppc>141100</gdppc>

        <neighbor direction="E" name="Austria" />

        <neighbor direction="W" name="Switzerland" />

    </country>

    <country name="Singapore">

        <rank updated="yes">5</rank>

        <year attr_test="yes">2012</year>

        <gdppc>59900</gdppc>

        <neighbor direction="N" name="Malaysia" />

    </country>

    <state>

        <name>&#24503;州</name>

        <population>&#24503;州</population>

    </state>

</data>

常用模块学习—自动创建 xml 文档

import xml.etree.ElementTree as ET

new_xml = ET.Element("namelist")      #创建namelist节点

name = ET.SubElement(new_xml,"name",attrib={"enrolled":"yes"})

age = ET.SubElement(name,"age",attrib={"checked":"no"})

sex = ET.SubElement(name,"sex")

sex.text = ''

name2 = ET.SubElement(new_xml,"name",attrib={"enrolled":"no"})

age = ET.SubElement(name2,"age")

age.text = ''

et = ET.ElementTree(new_xml) #生成文档对象

et.write("test.xml", encoding="utf-8",xml_declaration=True)

ET.dump(new_xml) #打印生成的格式
<?xml version='1.0' encoding='utf-8'?>

<namelist>

    <name enrolled="yes">

        <age checked="no" />

        <sex>33</sex></name>

    <name enrolled="no">

        <age>19</age></name>

</namelist>
上一篇：Ubuntu14.04双网卡主备配置


下一篇：Python全栈之路----常用模块----序列化（json&pickle&shelve)模块详解