1.简介
Protocol Buffers是Google开发的一种数据描述语言,能够将数据进行序列化,可用于数据存储、通信协议等方面。
可以理解成更快、更简单、更小的JSON或者XML,区别在于Protocol Buffers是二进制格式,而JSON和XML是文本格式。
相对于XML,Protocol Buffers有如下几个优点:
1.简洁。
2.体积小,消息大小只有XML的1/10到1/3。
3.速度快,解析速度比XML快20~100倍。
4.使用Protocol Buffers的编译器,可以生成更容易在编程中使用的数据访问代码。
5.更好的兼容性,Protocol Buffers设计的一个原则就是要能够很好的支持向下或向上兼容。
使用不同的数据描述语言序列化后的字节个数比对:
使用不同的数据描述语言进行序列化以及反序列化的响应时间比对:
*数据在网络进行传输时要经历三个阶段: 发送方对数据进行序列化、网络中传输、接收方反序列化。
将对象序列化成protobuf、xml、json结构时,protobuf所占的字节数量最少、有效数据的比重最大、总数据最少,因此决定了数据在网络进行传输时所耗费的时间最少。
将对象序列化成protobuf、xml、json结构以及反序列化成对象时,protobuf所耗费的时间最少。
结论:数据使用protobuf序列化格式能够大大提高生产效率(服务的响应时间)。
2.proto文件的语法规则
字段类型
*目前有v2、v3版本,不同版本的语法稍微有些不同,会额外进行说明,以下是v2版本的语法规则。
2.1 消息
1.使用message关键字定义消息,并指定消息的名称(取一个有意义的名字)
2.指定字段的类型和名称
3.添加字段的约束
4.定义字段的编号(从1开始,其中19000~19999被Protocol Buffers作为保留字段)
最基本的message
message User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
字段约束
required指定该字段必须赋值。
optional表示该字段允许为空,可以使用[default]指定默认值,如果没有指定默认值则会使用字段类型的默认值。
- 对于strings ,默认是一个空string。
- 对于bytes ,默认是一个空的bytes。
- 对于bools ,默认是false。
- 对于数值类型 ,默认是0。
- 对于枚举,默认是第一个定义的枚举值,必须为0。
repeated指定字段为集合。
oneof指定一组字段中必须有一个字段要赋值。
*在一个proto文件中可以同时定义多个message类型,生成代码时根据生成代码的目标语言不同,处理的方式不太一样( 对于Java, 每个proto文件都生成一个类,即一个.java文件,每个message、enum类型都是该类的静态内部类 )
message User{
required int32 id = 1;
//username或email之间必须有一个字段要赋值
oneof login{
string username = 3;
string email = 4;
}
required string password = 2;
} message Admin{
required int32 id = 1;
required string username = 2;
required string password = 3;
}
*可以指定字段的类型为其他的message类型。
message Course{
required User user = 1;
required string cour_name = 2;
} message User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
*在proto文件中支持类型的嵌套,即定义的message类型仅作为包含其message类型的字段类型( 此时Course静态内部类中包含User静态内部类 )
message Course{
message User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
required User user = 1;
required string cour_name = 2;
}
*使用extensions关键字预留消息类型的字段编号,通过extend关键字继续定义。
message User{
//30~100编号为User类型私有.
extensions 30 to 100
} extend User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
2.2 枚举
1.使用enum关键字定义枚举,并指定枚举的名称(取一个有意义的名字)
2.设置枚举可能包含的值并定义编号(从1开始,其中19000~19999被Protocol Buffers作为保留字段)
最基本的枚举:
enum Course{
Chinese = ;
Mathematics = ;
English = ;
}
*可以使用import关键字导入其他proto文件。
*可以使用option java_package设置生成java类的包名。
*可以使用option java_outer_classname设置生成java类的类名。
import "other.proto"
option java_package = "com.zht.protobuf";
option java_outer_classname = "UserModel";
message User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
3.proto2与proto3的不同
1.proto文件的第一行必须使用syntax属性指定使用的protobuf版本:proto2、proto3。
2.移除了 “required” 字段约束。
3.“optional”字段约束改名为 “singular”。
4.在 proto2 中, "optional" 约束可以使用 default 指定字段的默认值(不指定也不赋值则跟随系统), 在 proto3 中, 字段的默认值只能根据字段类型由系统决定。
*当字段被设置为默认值时, 该字段不会被序列化, 提高效率。
5.枚举类型的第一个字段的编号必须为 0 。
4.protobuf的使用
1.环境的准备
在github下载对应操作环境的protobuf工具包: https://github.com/google/protobuf/releases
windows用户选择: protoc-3.5.1-win32.zip
解压后配置环境变量PATH,使其在上下文能直接搜索 protoc.exe。
2.编写.proto文件
E:\proto\user.proto
内容如下:
#v3版本需要在proto文件的第一行使用syntax属性指定proto文件使用的语法的版本
syntax = "proto2";
option java_package = "com.zht.protobuf";
option java_outer_classname = "UserModel";
message User{
required int32 id = 1;
required string username = 2;
required string password = 3;
optional string email = 4;
}
3.使用protoc.exe命令生成实体
protoc.exe -I [proto文件所在目录] --java_out [JAVA类存放目录] [proto文件绝对路径]
4.将实体放入工程进行实体的构造和赋值
将实体放入工程:
构造并且赋值:
public class Main { public static void main(String[] args) throws InvalidProtocolBufferException {
//获取构造器并进行赋值
UserModel.User.Builder builder = UserModel.User.newBuilder();
builder.setId(1);
builder.setUsername("zhuanght");
builder.setPassword("123456");
builder.setEmail("aiuzht119@163.com"); //获取实体
UserModel.User user = builder.build(); System.out.println("源数据:\r"+ user.toString());
System.out.println("序列化后:"+Arrays.toString(user.toByteArray())); //模拟接收Byte[],反序列化成User实体
byte[] data =user.toByteArray();
User u = User.parseFrom(data);
System.out.println("\r解析:\r" +u.toString());
} }
打印结果 :
源数据:
id: 1
username: "zhuanght"
password: "123456"
email: "aiuzht119@163.com" 序列化后:[8, 1, 18, 8, 122, 104, 117, 97, 110, 103, 104, 116, 26, 6, 49, 50, 51, 52, 53, 54, 34, 17, 97, 105, 117, 122, 104, 116, 49, 49, 57, 64, 49, 54, 51, 46, 99, 111, 109] 解析:
id: 1
username: "zhuanght"
password: "123456"
email: "aiuzht119@163.com"
5.获取序列化后的字节数组在网络中进行传输
5.protobuf实例与json进行转换
导入相关依赖
<dependency>
<groupId>com.googlecode.protobuf-java-format</groupId>
<artifactId>protobuf-java-format</artifactId>
<version>1.4</version>
</dependency>
protobuf实例序列化为json格式
//user为上面例子的UserModel.User消息实例
String json = JsonFormat.printToString(user)
json序列化为protobuf实例
//builder为上面例子的UserModel.User.Builder构造器实例
JsonFormat.merge(json ,builder);
//此时再使用构建器创建的实例就包含转换后的数据
builder.build();