编解码-java序列化

大多数Java程序员接触到的第一种序列化或者编解码技术就是Java的默认序列化,只需要序列化的POJO对象实现java.io.Serializable接口,根据实际情况生成序列ID,这个类就能够通过java.io.ObjectInput和java.io.ObjectOutput序列化和反序列化。

不需要考虑跨语言调用,对序列化的性能也没有苛刻的要求时,Java默认的序列化机制是最明智的选择之一。正因为此,虽然Java序列化机制存在着一些弊病(性能低,不能跨语言,码流大),却依然得到了广泛的应用。

开发场景设计

服务端开发的场景如下:Netty服务端接收到客户端的用户订购请求消息,消息定义如表:

编解码-java序列化

服务端接收到请求消息,对用户名进行合法性校验。如果合法,则构造订购成功的应答消息返回给客户端。订购应答消息的定义如表:

编解码-java序列化

使用Netty的ObjectEncoder和ObjectDecoder对订购请求和应答消息进行序列化。

import lombok.Data;

import java.io.Serializable;

@Data
public class SubscribeReq implements Serializable { /**
* 默认的序列号ID
*/
private static final long serialVersionUID = 1L; private int subReqID; private String userName; private String productName; private String phoneNumber; private String address; @Override
public String toString() {
return "SubscribeReq [subReqID=" + subReqID + ", userName=" + userName
+ ", productName=" + productName + ", phoneNumber="
+ phoneNumber + ", address=" + address + "]";
}
} import lombok.Data; import java.io.Serializable; @Data
public class SubscribeResp implements Serializable { /**
* 默认序列ID
*/
private static final long serialVersionUID = 1L; private int subReqID; private int respCode; private String desc; @Override
public String toString() {
return "SubscribeResp [subReqID=" + subReqID + ", respCode=" + respCode
+ ", desc=" + desc + "]";
}
}

Java序列化服务端示例:

使用Netty对POJO对象进行序列化的开发步骤如下。

(1)在服务端ChannelPipeline中新增解码器io.netty.handler.codec.serialization.Object Decoder;

(2)在服务端ChannelPipeline中新增编码器io.netty.handler.codec.serialization.Object Encoder;

(3)需要进行Java序列化的POJO对象必须实现java.io.Serializable接口。

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.*;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioServerSocketChannel;
import io.netty.handler.codec.serialization.ClassResolvers;
import io.netty.handler.codec.serialization.ObjectDecoder;
import io.netty.handler.codec.serialization.ObjectEncoder;
import io.netty.handler.logging.LogLevel;
import io.netty.handler.logging.LoggingHandler; public class SubReqServer {
public void bind(int port) throws Exception {
// 配置服务端的NIO线程组
EventLoopGroup bossGroup = new NioEventLoopGroup();
EventLoopGroup workerGroup = new NioEventLoopGroup();
try {
ServerBootstrap b = new ServerBootstrap();
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.option(ChannelOption.SO_BACKLOG, 100)
.handler(new LoggingHandler(LogLevel.INFO))
.childHandler(new ChannelInitializer() {
@Override
public void initChannel(Channel ch) {
ch.pipeline().addLast(
//首先创建了一个新的ObjectDecoder,它负责对实现Serializable的POJO对象进行解码
//它有多个构造函数,支持不同的ClassResolver
new ObjectDecoder(
//为了防止异常码流和解码错位导致的内存溢出,这里将单个对象最大序列化后的字节数组长度设置为1M,作为例程它已经足够使用。
1024 * 1024,
//在此我们使用weakCachingConcurrentResolver创建线程安全的WeakReferenceMap对类加载器进行缓存,
//它支持多线程并发访问,内存不足时,会释放缓存中的内存,防止内存泄漏。
ClassResolvers.weakCachingConcurrentResolver(
this.getClass().getClassLoader())));
//新增了一个ObjectEncoder,它可以在消息发送的时候自动将实现Serializable的POJO对象进行编码,
//因此用户无须亲自对对象进行手工序列化,只需要关注自己的业务逻辑处理即可,对象序列化和反序列化都由Netty的对象编解码器搞定。
ch.pipeline().addLast(new ObjectEncoder());
//将订购处理handler SubReqServerHandler添加到ChannelPipeline的尾部用于业务逻辑处理,
ch.pipeline().addLast(new SubReqServerHandler());
}
}); // 绑定端口,同步等待成功
ChannelFuture f = b.bind(port).sync(); // 等待服务端监听端口关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放线程池资源
bossGroup.shutdownGracefully();
workerGroup.shutdownGracefully();
}
} public static void main(String[] args) throws Exception {
int port = 8080;
if (args != null && args.length > 0) {
try {
port = Integer.valueOf(args[0]);
} catch (NumberFormatException e) {
// 采用默认值
}
}
new SubReqServer().bind(port);
}
}
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerAdapter;
import io.netty.channel.ChannelHandlerContext; @ChannelHandler.Sharable
public class SubReqServerHandler extends ChannelHandlerAdapter { @Override
public void channelRead(ChannelHandlerContext ctx, Object msg)
throws Exception {
//经过解码器handler ObjectDecoder的解码,
//SubReqServerHandler接收到的请求消息已经被自动解码为SubscribeReq对象,可以直接使用。
SubscribeReq req = (SubscribeReq) msg;
if ("Lilinfeng".equalsIgnoreCase(req.getUserName())) {
System.out.println("Service accept client subscribe req : ["
+ req.toString() + "]");
//对订购者的用户名进行合法性校验,校验通过后打印订购请求消息,构造订购成功应答消息立即发送给客户端。
ctx.writeAndFlush(resp(req.getSubReqID()));
}
} private SubscribeResp resp(int subReqID) {
SubscribeResp resp = new SubscribeResp();
resp.setSubReqID(subReqID);
resp.setRespCode(0);
resp.setDesc("Netty book order succeed, 3 days later, sent to the designated address");
return resp;
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();// 发生异常,关闭链路
}
}

Java序列化客户端示例:

客户端的设计思路如下。

(1)创建客户端的时候将Netty对象解码器和编码器添加到ChannelPipeline;

(2)链路被激活的时候构造订购请求消息发送,为了检验Netty的Java序列化功能是否支持TCP粘包/拆包,客户端一次构造10条订购请求,最后一次性发送给服务端;

(3)客户端订购处理handler将接收到的订购响应消息打印出来。

import io.netty.bootstrap.Bootstrap;
import io.netty.channel.*;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.handler.codec.serialization.ClassResolvers;
import io.netty.handler.codec.serialization.ObjectDecoder;
import io.netty.handler.codec.serialization.ObjectEncoder; public class SubReqClient { public void connect(int port, String host) throws Exception {
// 配置客户端NIO线程组
EventLoopGroup group = new NioEventLoopGroup();
try {
Bootstrap b = new Bootstrap();
b.group(group).channel(NioSocketChannel.class)
.option(ChannelOption.TCP_NODELAY, true)
.handler(new ChannelInitializer() {
@Override
public void initChannel(Channel ch)
throws Exception {
ch.pipeline().addLast(
//我们禁止对类加载器进行缓存,它在基于OSGi的动态模块化编程中经常使用。
//由于OSGi的bundle可以进行热部署和热升级,当某个bundle升级后,
//它对应的类加载器也将一起升级,因此在动态模块化编程过程中,
//很少对类加载器进行缓存,因为它随时可能会发生变化。
new ObjectDecoder(1024, ClassResolvers
.cacheDisabled(this.getClass()
.getClassLoader())));
ch.pipeline().addLast(new ObjectEncoder());
ch.pipeline().addLast(new SubReqClientHandler());
}
}); // 发起异步连接操作
ChannelFuture f = b.connect(host, port).sync(); // 等待客户端链路关闭
f.channel().closeFuture().sync();
} finally {
// 优雅退出,释放NIO线程组
group.shutdownGracefully();
}
} public static void main(String[] args) throws Exception {
int port = 8080;
if (args != null && args.length > 0) {
try {
port = Integer.valueOf(args[0]);
} catch (NumberFormatException e) {
// 采用默认值
}
}
new SubReqClient().connect(port, "127.0.0.1");
}
} import io.netty.channel.ChannelHandlerAdapter;
import io.netty.channel.ChannelHandlerContext; public class SubReqClientHandler extends ChannelHandlerAdapter { public SubReqClientHandler() {
} @Override
public void channelActive(ChannelHandlerContext ctx) {
//在链路激活的时候循环构造10条订购请求消息,最后一次性地发送给服务端。
for (int i = 0; i < 10; i++) {
ctx.write(subReq(i));
}
ctx.flush();
} private SubscribeReq subReq(int i) {
SubscribeReq req = new SubscribeReq();
req.setAddress("南京市江宁区方山国家地质公园");
req.setPhoneNumber("138xxxxxxxxx");
req.setProductName("Netty 权威指南");
req.setSubReqID(i);
req.setUserName("Lilinfeng");
return req;
} @Override
public void channelRead(ChannelHandlerContext ctx, Object msg)
throws Exception {
//由于对象解码器已经对订购请求应答消息进行了自动解码,
//因此,SubReqClientHandler接收到的消息已经是解码成功后的订购应答消息。
System.out.println("Receive server response : [" + msg + "]");
} @Override
public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {
ctx.flush();
} @Override
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) {
cause.printStackTrace();
ctx.close();
}
}

运行结果:

服务端运行结果如下:

Service accept client subscribe req : [SubscribeReq [subReqID=0, userName= Lilinfeng, productName=Netty 权威指南, phoneNumber=138xxxxxxxxx, address=南京市江宁区方山国家地质公园]]

...................................................................................

Service accept client subscribe req : [SubscribeReq [subReqID=9, userName= Lilinfeng, productName=Netty 权威指南, phoneNumber=138xxxxxxxxx, address=南京市江宁区方山国家地质公园]]

尽管客户端一次批量发送了10条订购请求消息,TCP会对请求消息进行粘包和拆包,但是并没有影响最终的运行结果:服务端成功收到了10条订购请求消息,与客户端发送的一致。

客户端运行结果如下:

Receive server response : [SubscribeResp [subReqID=0, respCode=0, desc=Netty book order succeed, 3 days later, sent to the designated address]]

...................................................................................

Receive server response : [SubscribeResp [subReqID=9, respCode=0, desc=Netty book order succeed, 3 days later, sent to the designated address]]

客户端接收到了10条订购应答消息,Netty的ObjectEncoder编码器可以自动对订购应答消息进行序列化,然后发送给客户端,客户端的ObjectDecoder对码流进行反序列化,获得订购请求应答消息。

上一篇:scrapy项目管道(Item Pipeline)、图片/文件下载管道(Image/File Pipeline)、Feed 导出


下一篇:Scrapy框架扩展