内建模块-base64、struct

2024-04-01 08:36:10

base64模块

base64是一种用64个字符来表示任意二进制数据的方法，常用于在URL、Cookie、网页中传输少量二进制数据。
用记事本打开exe、jpg、pdf这些文件时，会看到一大堆乱码，因为二进制文件中包含很多无法显示和打印的字符，所以如果要让记事本这样的文本处理软件能处理二进制数据，就需要一个二进制到字符串的转换方法，Base64是一种最常见的二进制编码方法。
base64的原理
- 首先准备一个包含64个字符的数组(A-Z，a-z，0-9，+，-)
- 然后对二进制数据进行处理，每3个字节一组，一共是3*8=24bit，划为4组，每组6个bit
- 这样得到4个数字作为索引，然后查表，获得对应的4个字符，就是编码后的字符串
所以Base64编码会把3字节的二进制数据编码为4个字节的文本数据，长度增加33%，好处是编码后的文本数据可以在邮件、网页等直接显示。
如果要编码的二进制数据不是3的倍数，Base64用\x00字节在末尾补足后，再在编码的末尾加上1个或者1个=号，表示补了多少个字节，解码时会自动去掉。
python内置的base64可以直接进行base64的编解码

>>> import base64
>>> base64.b64encode(b'binary\x00string')
b'YmluYXJ5AHN0cmluZw=='
>>> base64.b64decode(b'YmluYXJ5AHN0cmluZw==')
b'binary\x00string'

由于标准的Base64编码后可能出现字符”+"和”/“，在url中就不能直接作为参数，所以又有一种“url safe”的base64编码，其实就是把字符“+”和“/”分别变成“-”和“_”

>>> base64.b64encode(b'i\xb7\x1d\xfb\xef\xff')
b'abcd++//'
>>> base64.urlsafe_b64encode(b'i\xb7\x1d\xfb\xef\xff')
b'abcd--__'
>>> base64.urlsafe_b64decode('abcd--__')
b'i\xb7\x1d\xfb\xef\xff'

还可以自己定义64个字符的排列顺序，这样就可以自定义Base64编码，不过，通常情况下完全没有必要。
Base64是一种通过查表的编码方法，不能用于加密，即使使用自定义的编码表也不行。
Base64适用于小段内容的编码，比如数字证书签名、Cookie的内容等。
由于=字符也可能出现在Base64编码中，但=用在URL、Cookie里面会造成歧义，所以，很多Base64编码后会把=去掉：
去掉=后怎么解码呢？因为Base64是把3个字节变为4个字节，所以，Base64编码的长度永远是4的倍数，因此，需要加上=把Base64字符串的长度变为4的倍数，就可以正常解码了。

# 标准Base64:
'abcd' -> 'YWJjZA=='
# 自动去掉=:
'abcd' -> 'YWJjZA'

struct模块

https://blog.csdn.net/qq_30638831/article/details/80421019
python没有专门处理字节的数据类型，但由于b’str’可以表示字节，所以，字节数组=二进制str。在c语言中，可以使用struct、union来处理字节，以及字节和int、float的转换。（struct-结构）
python中将32位无符号整数变成字节，也就是4个长度的bytest，需要配合运算符这么写

>>> n = 10240099
>>> b1 = (n & 0xff000000) >> 24
>>> b2 = (n & 0xff0000) >> 16
>>> b3 = (n & 0xff00) >> 8
>>> b4 = n & 0xff
>>> bs = bytes([b1, b2, b3, b4])
>>> bs
b'\x00\x9c@c'

struct

python提供了一个struct模块来解决bytes和其他二进制数据类型的转换
struct的pack函数把任意数据类型变成bytes （pack-包装）
- import struct struct.pack(‘>I’, 10240099) # 返回 b’\x00\x9c@c’
- 第一个参数是处理指令，’>I’的意思是：
  - 表示字节顺序是big-endian，也就是网络序
  - I 表示4字节无符号整数
- 后面参数个数要和处理指令一致
unpack把bytes变成相应的数据类型
- import struct struct.unpack(‘>IH’, b’\xf0\xf0\xf0\xf0\x80\x80’) # 返回 (4042322160, 32896)
- 第一个参数是处理指令，>IH是指将后面的bytes依次变为
  - I：4字节无符号整数
  - H：2字节无符号整数
官方文档：https://docs.python.org/3/library/struct.html#format-characters

举例

Windows的位图文件（.bmp）是一种非常简单的文件格式，我们来用struct分析一下。
首先找一个bmp文件，没有的话用“画图”画一个。
读入前30个字节来分析：

>>> s = b'\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00'

BMP格式采用小端方式存储数据，文件头的结构按顺序如下：
- 两个字节：'BM’表示Windows位图，'BA’表示OS/2位图；
- 一个4字节整数：表示位图大小；
- 一个4字节整数：保留位，始终为0；
- 一个4字节整数：实际图像的偏移量；
- 一个4字节整数：Header的字节数；
- 一个4字节整数：图像宽度；
- 一个4字节整数：图像高度；
- 一个2字节整数：始终为1；
- 一个2字节整数：颜色数。
所以，组合起来用unpack读取：

>>> struct.unpack('<ccIIIIIIHH', s)
 (b'B', b'M', 691256, 0, 54, 40, 640, 360, 1, 24)

结果显示，b’B’、b’M’说明是Windows位图，位图大小为640x360，颜色数为24。

码农公寓

相关文章