简单RPC框架-业务线程池

2023-07-31 11:42:46

*:first-child {
margin-top: 0 !important;
}

body>*:last-child {
margin-bottom: 0 !important;
}

/* BLOCKS
=============================================================================*/

p, blockquote, ul, ol, dl, table, pre {
margin: 15px 0;
}

/* HEADERS
=============================================================================*/

h1, h2, h3, h4, h5, h6 {
margin: 20px 0 10px;
padding: 0;
font-weight: bold;
-webkit-font-smoothing: antialiased;
}

h1 tt, h1 code, h2 tt, h2 code, h3 tt, h3 code, h4 tt, h4 code, h5 tt, h5 code, h6 tt, h6 code {
font-size: inherit;
}

h1 {
font-size: 28px;
color: #000;
}

h2 {
font-size: 24px;
border-bottom: 1px solid #ccc;
color: #000;
}

h3 {
font-size: 18px;
}

h4 {
font-size: 16px;
}

h5 {
font-size: 14px;
}

h6 {
color: #777;
font-size: 14px;
}

body>h2:first-child, body>h1:first-child, body>h1:first-child+h2, body>h3:first-child, body>h4:first-child, body>h5:first-child, body>h6:first-child {
margin-top: 0;
padding-top: 0;
}

a:first-child h1, a:first-child h2, a:first-child h3, a:first-child h4, a:first-child h5, a:first-child h6 {
margin-top: 0;
padding-top: 0;
}

h1+p, h2+p, h3+p, h4+p, h5+p, h6+p {
margin-top: 10px;
}

/* LINKS
=============================================================================*/

a {
color: #4183C4;
text-decoration: none;
}

a:hover {
text-decoration: underline;
}

/* LISTS
=============================================================================*/

ul, ol {
padding-left: 30px;
}

ul li > :first-child,
ol li > :first-child,
ul li ul:first-of-type,
ol li ol:first-of-type,
ul li ol:first-of-type,
ol li ul:first-of-type {
margin-top: 0px;
}

ul ul, ul ol, ol ol, ol ul {
margin-bottom: 0;
}

dl {
padding: 0;
}

dl dt {
font-size: 14px;
font-weight: bold;
font-style: italic;
padding: 0;
margin: 15px 0 5px;
}

dl dt:first-child {
padding: 0;
}

dl dt>:first-child {
margin-top: 0px;
}

dl dt>:last-child {
margin-bottom: 0px;
}

dl dd {
margin: 0 0 15px;
padding: 0 15px;
}

dl dd>:first-child {
margin-top: 0px;
}

dl dd>:last-child {
margin-bottom: 0px;
}

/* CODE
=============================================================================*/

pre, code, tt {
font-size: 12px;
font-family: Consolas, "Liberation Mono", Courier, monospace;
}

code, tt {
margin: 0 0px;
padding: 0px 0px;
white-space: nowrap;
border: 1px solid #eaeaea;
background-color: #f8f8f8;
border-radius: 3px;
}

pre>code {
margin: 0;
padding: 0;
white-space: pre;
border: none;
background: transparent;
}

pre {
background-color: #f8f8f8;
border: 1px solid #ccc;
font-size: 13px;
line-height: 19px;
overflow: auto;
padding: 6px 10px;
border-radius: 3px;
}

pre code, pre tt {
background-color: transparent;
border: none;
}

kbd {
-moz-border-bottom-colors: none;
-moz-border-left-colors: none;
-moz-border-right-colors: none;
-moz-border-top-colors: none;
background-color: #DDDDDD;
background-image: linear-gradient(#F1F1F1, #DDDDDD);
background-repeat: repeat-x;
border-color: #DDDDDD #CCCCCC #CCCCCC #DDDDDD;
border-image: none;
border-radius: 2px 2px 2px 2px;
border-style: solid;
border-width: 1px;
font-family: "Helvetica Neue",Helvetica,Arial,sans-serif;
line-height: 10px;
padding: 1px 4px;
}

/* QUOTES
=============================================================================*/

blockquote {
border-left: 4px solid #DDD;
padding: 0 15px;
color: #777;
}

blockquote>:first-child {
margin-top: 0px;
}

blockquote>:last-child {
margin-bottom: 0px;
}

/* HORIZONTAL RULES
=============================================================================*/

hr {
clear: both;
margin: 15px 0;
height: 0px;
overflow: hidden;
border: none;
background: transparent;
border-bottom: 4px solid #ddd;
padding: 0;
}

/* IMAGES
=============================================================================*/

img {
max-width: 100%
}
-->

Netty 线程模型

Netty的线程模型主要是基于React,因为考虑到应用场景的不同所以演化出多种版本。

单线程模式

即接收服务请求以及执行IO操作都由一个线程来完成，由于采用的是IO多路复用这类无阻塞IO操作，所以在请求量不大的情况下单线程模式也是可以解决一部分场景问题的。

简单RPC框架-业务线程池

单接收多工作线程模式

当请求量增大后，原有的一个线程处理所有IO操作变得越来越无法支撑相应的性能指标，所以提到了一个工作线程池的概念，此时接收服务请求还是一个线程，接收请求的线程收到请求后会委托给后面的工作线程池，从线程池中取得一个线程去执行用户请求。

简单RPC框架-业务线程池

多接收多工作线程模式

当请求量进一步增大后，单一的接收服务请求的线程无法处理所有客户端的连接，所以将接收服务请求的也扩展成线程池，由多个线程同时负责接收客户端的连接。

简单RPC框架-业务线程池

RPC 业务线程

上面提到的都是Netty自身的线程模型，伴随着请求量的增长而不断发展出来的优化策略。而RPC请求对应用系统来讲最主要还是业务逻辑的处理，而这类业务有可能是计算密集型的也有可以是IO密集型，像大多数应用都伴随着数据库操作，redis或者是连接其它的网络服务等。如果业务请求中有这类耗时的IO操作，推荐将处理业务请求的任务分配给独立的线程池，否则可能会阻塞netty自身的线程。

简单RPC框架-业务线程池

接收请求线程与工作线程分工

  • 接收请求线程主要负责创建链路，然后将请求委派给工作线程
  • 工作线程负责编码解码读取IO等操作

方案实现

目前我实现的RPC是采用多接收多工作线程模式，在服务端是这样绑定端口的：

public void bind(ServiceConfig serviceConfig) {

        EventLoopGroup bossGroup = new NioEventLoopGroup();

        EventLoopGroup workerGroup = new NioEventLoopGroup();

        try {

            ServerBootstrap bootstrap = new ServerBootstrap();

            bootstrap.group(bossGroup, workerGroup)

                    .channel(NioServerSocketChannel.class)

                    .childHandler(this.rpcServerInitializer)

                    .childOption(ChannelOption.SO_KEEPALIVE,true)

            ;

            try {

                ChannelFuture channelFuture = bootstrap.bind(serviceConfig.getHost(),serviceConfig.getPort()).sync();

                //...

                channelFuture.channel().closeFuture().sync();

            } catch (InterruptedException e) {

                throw new RpcException(e);

            }

        }

        finally {

            bossGroup.shutdownGracefully();

            workerGroup.shutdownGracefully();

        }

    }

boosGroup就是一组用来接收服务请求的
workerGroup就是一组具体负责IO操作的

增加业务线程只需要将handle的操作进一步委派给线程池即可，这里为了扩展所以需要定义接口：

定义线程池接口

public interface RpcThreadPool {

    Executor getExecutor(int threadSize,int queues);

}

实现固定大小线程池

参考了dubbo线程池

@Qualifier("fixedRpcThreadPool")

@Component

public class FixedRpcThreadPool implements RpcThreadPool {

    private Executor executor;

    @Override

    public Executor getExecutor(int threadSize,int queues) {

        if(null==executor) {

            synchronized (this) {

                if(null==executor) {

                    executor= new ThreadPoolExecutor(threadSize, threadSize, 0L, TimeUnit.MILLISECONDS,

                            queues == 0 ? new SynchronousQueue<Runnable>() :

                                    (queues < 0 ? new LinkedBlockingQueue<Runnable>()

                                            : new LinkedBlockingQueue<Runnable>(queues)),

                            new RejectedExecutionHandler() {

                                @Override

                                public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {

                                   //...

                                }

                            });

                }

            }

        }

        return executor;

    }

}

小插曲：
记的有一次一朋友突然问java 线程池中的那个coreSize是什么意思？我顿时短路了，因平时也不怎么写多线程，想到平时用的比较多的数据库线程池，里面的参数倒是印象比较深，但就是想不起来有个coreSize。后来才又仔细看了下线程池的一些参数。现在借这个机会又可以多多再看看，以免再次短路。

线程池工厂

当有多个线程池实现时，通过线程池名称来动态选择线程池。

@Component

public class RpcThreadPoolFactory {

    @Autowired

    private Map<String,RpcThreadPool> rpcThreadPoolMap;

    public RpcThreadPool getThreadPool(String threadPoolName){

        return this.rpcThreadPoolMap.get(threadPoolName);

    }

}

修改ChannelHandle的channelRead0方法

将方法体包装成Task交给线程池去执行。

@Override

protected void channelRead0(ChannelHandlerContext channelHandlerContext, RpcRequest rpcRequest) {

    this.executor.execute(new Runnable() {

        @Override

        public void run() {

            RpcInvoker rpcInvoker=RpcServerInvoker.this.buildInvokerChain(RpcServerInvoker.this);

            RpcResponse response=(RpcResponse) rpcInvoker.invoke(RpcServerInvoker.this.buildRpcInvocation(rpcRequest));

            channelHandlerContext.writeAndFlush(response);

        }

    });

}

问题

目前缺乏压测，所以暂时没有明确的数据对比。

源码地址

https://github.com/jiangmin168168/jim-framework

上一篇：web.xml文件中配置ShallowEtagHeaderFilter需注意的问题


下一篇：LVS-DR模式（原理图详解）