netty 粘包的解决策略

2022-09-15 08:07:56

粘包问题的解决策略

由于底层的 TCP 无法理解上层业务数据,所以在底层是无法保证数据包不被拆分和重组的 , 这个问题只能通过上层的应用协议栈设计来解决,根据业界主流的协议的解决方案, 可以归纳如下:

消息定长, 例如每个报文的大小固定长度200字节,如果不够,空位补齐空格;
在包尾部添加回车换行符进行分割, 例如 FTP 协议;
将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息具体长度)的字段,通常设计思路为消息头的第一个字段使用 int32 来表示消息的总长度;
更复杂的应用协议层;

一. LineBasedFrameDecoder 与 StringDecoder

LineBasedFrameDecoder 与 StringDecoder 的工作原理

　　LineBasedFrameDecoder 的工作原理是它依次遍历 ByteBuf 中得可读字节,判断看是否有 '\n' 或者 '\r\n' , 如果有,就以此位置为结束位置,从可读索引到结束位置区间的字节组成一行.他是以换行符为结束标志的解码器.支持携带结束符或者不携带结束符两种编码方式,同时支持配置单行最大长度 . 如果连续读取到最大长度后仍然没有发现换行符,则抛出异常,同时忽略掉之前读到的异常码流.

StringDecoder 的功能非常简单,就是将收到的对象转换成字符串,然后继续调用后面的handler

　　LineBasedFrameDecoder + StringDecoder 组合就是按换行切换的文本解码器, 它被设计来用于支持 TCP 的粘包和拆包.

使用如下:

package time.server.impl;

import io.netty.bootstrap.ServerBootstrap;

import io.netty.channel.ChannelFuture;

import io.netty.channel.ChannelInitializer;

import io.netty.channel.ChannelOption;

import io.netty.channel.EventLoopGroup;

import io.netty.channel.nio.NioEventLoopGroup;

import io.netty.channel.socket.SocketChannel;

import io.netty.channel.socket.nio.NioServerSocketChannel;

import io.netty.handler.codec.LineBasedFrameDecoder;

import io.netty.handler.codec.string.StringDecoder;

/**

 * TODO

 *

 * @description

 * @author mjorcen

 * @time 2015年5月25日 下午2:50:57

 */

public class NTimeServerImpl {

    public void bind(int port) {

        // 创建两个NioEventLoopGroup 实例,NioEventLoopGroup

        // 是一个线程组,它包含一组NIO线程,专门用于处理网络事件的处理,实际上他们就是Reactor 线程组

        // 这里创建两个的原因是一个用于服务端接收用户的链接,另一个用于进行SocketChannel的网络读写

        EventLoopGroup bossGroup = new NioEventLoopGroup();

        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {

            // 创建一个 ServerBootstrap ,它是netty用于NIO服务端的辅助启动类,目的是降低服务端的开发复杂度.

            ServerBootstrap bootstrap = new ServerBootstrap();

            // 设定 服务端接收用户请求的线程组和用于进行SocketChannel网络读写的线程组

            bootstrap.group(bossGroup, workerGroup);

            // 设置创建的 channel 类型

            bootstrap.channel(NioServerSocketChannel.class);

            // 配置 NioServerSocketChannel 的 tcp 参数, BACKLOG 的大小

            bootstrap.option(ChannelOption.SO_BACKLOG, 1024);

            // 绑定io处理类（childChannelHandler）.他的作用类似于 reactor 模式中的 handler

            // 类,主要用于处理网络 I/O 事件,例如对记录日志,对消息进行解码等.

            bootstrap.childHandler(new ChannelInitializer<SocketChannel>() {

                protected void initChannel(SocketChannel ch) throws Exception {

                    ch.pipeline().addLast(new LineBasedFrameDecoder(1024)); // 加入行处理器

                    ch.pipeline().addLast(new StringDecoder()); // 加入字符串解码器

                    ch.pipeline().addLast(new TimeServerHandler());

                }

            });

            // 绑定端口,随后调用它的同步阻塞方法 sync 等等绑定操作成功,完成之后 Netty 会返回一个 ChannelFuture

            // 它的功能类似于的 Future,主要用于异步操作的通知回调.

            ChannelFuture channelFuture = bootstrap.bind(port).sync();

            // 等待服务端监听端口关闭,调用 sync 方法进行阻塞,等待服务端链路关闭之后 main 函数才退出.

            channelFuture.channel().closeFuture().sync();

        } catch (Exception e) {

            e.printStackTrace();

        } finally {

            // 优雅的退出,释放线程池资源

            bossGroup.shutdownGracefully();

            workerGroup.shutdownGracefully();

        }

    }

    public static void main(String[] args) {

        NTimeServerImpl server = new NTimeServerImpl();

        server.bind(9091);

    }

}

ServerHandler

package time.server.impl;

import io.netty.buffer.ByteBuf;

import io.netty.buffer.Unpooled;

import io.netty.channel.ChannelHandlerAdapter;

import io.netty.channel.ChannelHandlerContext;

import java.util.Date;

import time.TimeConfig;

/**

 * TODO

 *

 * @description

 * @author ez

 * @time 2015年5月25日 下午3:06:09

 */

public class TimeServerHandler extends ChannelHandlerAdapter implements

        TimeConfig {

    /*

     * (non-Javadoc)

     *

     * @see io.netty.channel.ChannelHandlerAdapter#channelRead(io.netty.channel.

     * ChannelHandlerContext, java.lang.Object)

     */

    @Override

    public void channelRead(ChannelHandlerContext ctx, Object msg)

            throws Exception {

        String body = (String) msg;

        System.out.println("The time server receive order : " + body);

        String currentTime = QUERY.equalsIgnoreCase(body) ? new Date()

                .toString() : "BAD ORDER";

        currentTime += System.getProperty("line.separator");

        System.out.println("currentTime : " + currentTime);

        ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes("utf-8"));

        ctx.writeAndFlush(resp);

    }

    @Override

    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause)

            throws Exception {

        cause.printStackTrace();

        // 当出现异常时,释放资源.

        ctx.close();

    }

    @Override

    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {

        ctx.flush();

    }

}

Client

package time.client.impl;

import io.netty.bootstrap.Bootstrap;

import io.netty.channel.ChannelFuture;

import io.netty.channel.ChannelInitializer;

import io.netty.channel.ChannelOption;

import io.netty.channel.EventLoopGroup;

import io.netty.channel.nio.NioEventLoopGroup;

import io.netty.channel.socket.SocketChannel;

import io.netty.channel.socket.nio.NioSocketChannel;

import io.netty.handler.codec.LineBasedFrameDecoder;

import io.netty.handler.codec.string.StringDecoder;

/**

 * TODO

 *

 * @description

 * @author ez

 * @time 2015年5月25日 下午3:17:29

 */

public class NTimeClient {

    public void connect(int port, String host) throws Exception {

        EventLoopGroup group = new NioEventLoopGroup();

        try {

            Bootstrap bootstrap = new Bootstrap();

            bootstrap.group(group);

            bootstrap.channel(NioSocketChannel.class);

            bootstrap.option(ChannelOption.TCP_NODELAY, true);

            bootstrap.handler(new ChannelInitializer<SocketChannel>() {

                @Override

                protected void initChannel(SocketChannel ch) throws Exception {

                    ch.pipeline().addLast(new LineBasedFrameDecoder(1024));

                    ch.pipeline().addLast(new StringDecoder());

                    ch.pipeline().addLast(new TimeClientHandler());

                }

            });

            // 发起异步链接操作

            ChannelFuture future = bootstrap.connect(host, port).sync();

            // 等待客户端链路关闭

            future.channel().closeFuture().sync();

        } catch (Exception e) {

            e.printStackTrace();

        } finally {

            group.shutdownGracefully();

        }

    }

    public static void main(String[] args) throws Exception {

        NTimeClient client = new NTimeClient();

        client.connect(9091, "localhost");

    }

}

ClientHandler

package time.server.impl;

import io.netty.buffer.ByteBuf;

import io.netty.buffer.Unpooled;

import io.netty.channel.ChannelHandlerAdapter;

import io.netty.channel.ChannelHandlerContext;

import java.util.Date;

import time.TimeConfig;

/**

 * TODO

 *

 * @description

 * @author ez

 * @time 2015年5月25日 下午3:06:09

 */

public class TimeServerHandler extends ChannelHandlerAdapter implements

        TimeConfig {

    /*

     * (non-Javadoc)

     *

     * @see io.netty.channel.ChannelHandlerAdapter#channelRead(io.netty.channel.

     * ChannelHandlerContext, java.lang.Object)

     */

    @Override

    public void channelRead(ChannelHandlerContext ctx, Object msg)

            throws Exception {

        String body = (String) msg;

        System.out.println("The time server receive order : " + body);

        String currentTime = QUERY.equalsIgnoreCase(body) ? new Date()

                .toString() : "BAD ORDER";

        currentTime += System.getProperty("line.separator");

        System.out.println("currentTime : " + currentTime);

        ByteBuf resp = Unpooled.copiedBuffer(currentTime.getBytes("utf-8"));

        ctx.writeAndFlush(resp);

    }

    @Override

    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause)

            throws Exception {

        cause.printStackTrace();

        // 当出现异常时,释放资源.

        ctx.close();

    }

    @Override

    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {

        ctx.flush();

    }

}

2: DelimiterBasedFrameDecoder
　　

DelimiterBasedFrameDecoder 跟 LineBasedFrameDecoder 很相似 , 只是增加以自定义的分割符.

                    ByteBuf buf = Unpooled.copiedBuffer("$".getBytes("utf-8"));

                    ch.pipeline().addLast(

                            new DelimiterBasedFrameDecoder(1024, buf));

3: FixedLengthFrameDecoder 定长的分割器.

                    ch.pipeline().addLast(new FixedLengthFrameDecoder(1024));

以上内容出自 : <Netty 权威指南>

码农公寓

粘包问题的解决策略

一. LineBasedFrameDecoder 与 StringDecoder

LineBasedFrameDecoder 与 StringDecoder 的工作原理

2: DelimiterBasedFrameDecoder

相关文章

2: DelimiterBasedFrameDecoder
　　