dubbo底层之Netty

背景

  1. Java线程:由开始的单线程,到通过new Thread()创建的多线程,再到现如今的线程池,Java多线程编程的效率和性能有了很大的提升
  2. Reactor模型:基于事件驱动,适合处理海量I/O事件

    1)  单线程模型,所有的IO操作都在一个NIO线程上完成

    存在性能和可靠性上的问题

    2)  多线程模型,有一组NIO线程处理IO操作

    有一个专门的NIO线程-Acceptor线程用于监听服务端,接收客户端的TCP连接请求;

    有一个NIO线程池,负责消息的读取、发送、编码、解码;

    一个NIO线程能负责N条链路,一条链路只能由一个线程负责(防止发生并发操作问题)

    3)  主从多线程模型

    添加主线程池用于处理客户端的连接请求,一旦链路建立成功(经过握手、认证等过程),就将链路注册到从线程池的IO线程上,由IO线程负责后续的IO操作

Netty线程模型

  1.线程模型分类

    1)  服务端线程模型,类似于Reactor的多线程模型

    2)  客户端线程模型:由客户端创建SocketChannel,发起连接,线程池判断连接结果,如果连接成功,则监听读操作位,否则监听连接操作位,一旦连接成功就监听读操作位

  2.Reactor线程NioEventLoop

    1)  作为服务端Acceptor线程,处理客户端的连接请求

    2)  作为客户端的connector,注册监听连接操作位,判断异步连接结果

    3)  作为IO线程,监听读操作位,负责从SorcketChannel中读取报文

    4)  作为IO线程,监听写操作位,负责向SocketChannel写入报文发送给对方

    5)  作为定时线程,执行定时任务(链路空闲检测,心跳检测)

    6)  作为线程执行器,可以执行普通的任务线程

  3.NioEventLoop设计原理

    1)  串行化设计理念:NioEventLoop线程池中有若干个NioEventLoop线程,每一个NioEventLoop线程串行执行Handler链;每当有一个客户端接入,从线程池中获取一个可用的NioEventLoop线程,当数组到达上限之后,从0开始(负载均衡);每个客户端连接一个线程,这样保证了数据的安全性(避免多个线程同时访问)

    2)  定时任务和时间轮算法:客户端连接超时,链路空闲检测

    Netty的定时任务调度就是基于时间轮调度算法,首先查看任务队列中是否有超时的定时任务或者普通任务,有则执行(按照时间片原则分配运行时间),没有就等待定时任务中延迟最小的任务(即即将第一个超时的任务)的延迟时间,然后将扫描定时任务,将超时的定时任务加入任务队列,在任务执行时,Netty每执行64个定时任务就检测一次是否达到执行时间上限,达到则退出,如果没有执行完就放到下次轮询时再处理。

    3)  Netty是个异步高性能NIO框架,不是业务处理容器,不需要也不应该提供业务容器和业务线程,,只需要提供和管理NIO线程,关于业务层模型由用户自己集成。

Netty结构

dubbo底层之Netty

PS:图中有一点修正一下,SocketChannel是建立在客户端与服务端之间的,EventLoopGroup线程池中的一个线程与SocketChannel绑定,在服务端后续的线程处理之前,需要从SocketChannel中读取参数,在处理之后,需要向SocketChannel中写入处理结果。

Dubbo通信层(利用Netty)的实现过程

dubbo底层之Netty

上一篇:spark 常用技巧总结2


下一篇:POJ 1080:Human Gene Functions LCS经典DP