线上某dubbo服务A调用dubbo服务B的接口X方法，调用端A日志中出现了很多超时的情况，提供端B该接口X超时时间设置为60s；
查看提供端B的日志，报了很多线程池满的异常：
Caused by: java.util.concurrent.RejectedExecutionException: Thread pool is EXHAUSTED! Thread Name: DubboServerHandler-10.1.5.69:20914, Pool Size: 700 (active: 700, core: 700, max: 700, largest: 700), Task: 69117 (completed: 68417), Executor status:(isShutdown:false, isTerminated:false, isTerminating:false), in dubbo://10.1.5.69:20914!
at com.alibaba.dubbo.common.threadpool.support.AbortPolicyWithReport.rejectedExecution(AbortPolicyWithReport.java:53) ~[dubbo-2.5.4.2.jar:2.5.4.2]
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:821) [na:1.7.0_79]
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1372) [na:1.7.0_79]
服务B部署了4个节点，仅1个节点有线程池满情况；
服务B的dubbo配置如下，线程池固定700个线程：
<dubbo:protocol name="dubbo" port="xxx" dispatcher="all" threadpool="fixed" threads="700" />
通过ps aux | grep 服务B的jmx端口号，查到进程pid；
通过jstack pid > jstatck.log dump出jstack日志文件；
vi打开该文件，搜索BLOCKED关键字：
"DubboServerHandler-10.1.5.69:20914-thread-134" daemon prio=10 tid=0x00007f32fc033000 nid=0x4e36 waiting for monitor entry [0x00007f32e8f31000]
java.lang.Thread.State: BLOCKED (on object monitor)
at org.apache.tomcat.jdbc.pool.DataSourceProxy.pCreatePool(DataSourceProxy.java:112)
- waiting to lock <0x0000000780066ae0> (a org.apache.tomcat.jdbc.pool.DataSource)
at org.apache.tomcat.jdbc.pool.DataSourceProxy.createPool(DataSourceProxy.java:102)
at org.apache.tomcat.jdbc.pool.DataSourceProxy.getConnection(DataSourceProxy.java:126)
at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111)
发现是很多的线程是阻塞在获取数据库连接；
工程使用了阿里开源的druid数据库连接池，获取连接超时时间设置的30s；
X方法并没有查询数据库，而是服务B中的其它方法查询了数据库；
那么线程池满原因大概清楚了：当其它服务调用服务B中查询数据库的方法，因方法获取连接超时，线程处理速度慢所以逐渐堆积，最终导致线程池满。
服务B使用了阿里云的RDS数据库，4个节点仅一个节点连接超时。而之前连接都是正常的。
跟运维同学反馈沟通，工程中配置的数据库连接用的ip，通过VPN做了路由转发的。
昨天下午该节点虚拟机维护，关闭并重启过；检查发现路由规则配置，没有设置开机启动；
配置规则，并添加到开机启动。
问题解决:)
------------------------------------------------------------------------------------------------------------------------------
参考：
dubbo Thread pool is EXHAUSTED-故障排除 https://blog.csdn.net/lsm135/article/details/77712130
Dubbo线程池耗尽异常原理分析RejectedExecutionException:Thread pool is EXHAUSTED https://www.aliyun.com/jiaocheng/791713.html
dubbo线程池溢出解决 https://blog.csdn.net/shaoyingchendsg/article/details/77551159