protobuf笔记

官网:

https://developers.google.com/protocol-buffers/docs/proto3

https://developers.google.com/protocol-buffers/docs/encoding

编译安装

wget https://github.com/protocolbuffers/protobuf/archive/refs/tags/v3.17.3.tar.gz
cd protobuf-3.17.3
sh ./autogen.sh
./coufigure –prefix=/usr/local/protobuf-3.17.3
make -j4
sudo make install

标量值类型(Scalar Value Types)

protobuf笔记

 

wire type

protobuf笔记

 消息存储格式

protobuf采用TLV格式

  1. Tag 作为该字段的唯一标识
  2. Length 代表 Value 数据域的长度
  3. Value 便是数据本身

protobuf笔记

只有wire type=2(string等类型)的时候才有length字段

TAG和LENGTH使用Base 128 Varints编码

Varints 用来序列化整型,数字(正数)越小占用的字节数越小,例如1用int表示是4个字节,而用Varints只要1个字节。

Base 128 Varints编码

每个字节都是variant,每个字节最高位是最高有效位(most significant bit (msb))

msb为1表示还设有下一个字节,为0表示最后一个字节

每个字节后7位表示7位二进制补码

protobuf笔记

least significant group first个人理解就是小端序,低位字节在低地址,高位字节在高地址。

1的varint编码是:0000 0001

150的varint编码是:1010 1100 0000 0010

150的二进制是1001 0110,由于超过了7位,故要用两个字节表示

protobuf笔记

message Test1 {
  optional int32 a = 1;

optional string b = 2;
}

以数字150为例子

则该消息编码后的字节流是08 96 01

格式:TAG+VALUE

TAG由两部分组成:field_number+wire_type

field_number即message里等号后面的数字

wire_type共有六种,如上图,故用3位表示即可

protobuf笔记

所以int32 a = 1;的tag(protobuf中叫做key)值是08

所以假如Test1中a的值是150则编码后的字节流是08 96 01,TAG+VALUE。

string类型的编码

TAG+LENGTH+VALUE

假如Test1中b的值是”ABCD”

则编码后的字节流:

0A 04 41 42 43 44

protobuf笔记

int32编码负数字节占用太多

sint32和sint64使用ZIGZAG编码负数

enum和int32一样都是wire type 0

上一篇:ProtoBuf和JSON性能对比


下一篇:unity Protobuf 包含dll和打包csharp工具 直接使用