boneCP原理研究

** 转载请注明源链接:http://www.cnblogs.com/wingsless/p/6188659.html

boneCP是一款关注高性能的数据库连接池产品 github主页

不过最近作者好像没有心思更新了,因为他发现了一款更快的连接池产品,但是这不影响我学习它。

连接的生存时间

MySQL有一个重要的参数wait_timeout,用于规定一个connection最大的idle时间,默认是28800秒,即每个connection连续的sleep状态不能超过该值,否则MySQL会自动回收该connection。

连接池的作用是管理连接,任何想要请求数据库连接的行为都和连接池发生交互,从连接池里申请连接,使用完成后将连接交还给连接池。

在一个比较空闲的系统上,连接可能长时间的处于sleep状态,那么一旦达到了MySQL wait_timeout的规定时间,MySQL就要回收连接,这时连接池如果仍然认为该connection可用,待应用向连接池请求时,就会将不存在的connection资源交给应用,这样就会报错。

因此连接池需要一套机制保证每一个connection在连接池生存期内是始终可用的。

我推测应该有两种机制:定期检测和申请时检测。

boneCP采用定期检测机制,即每隔一个时间间隔就会检查其管理的连接处于sleep状态的时间,如果超过了设定的值,则会将此connection重建。

boneCP中有两个很重要的参数:idleConnectionTestPeriodInSeconds和idleMaxAgeInSeconds,分别是连接探测时间阈值和连接最大空闲时间,默认值为4小时和1小时。

boneCP会启动三个线程来进行定期任务:

this.keepAliveScheduler =  Executors.newScheduledThreadPool(this.config.getPartitionCount(), new CustomThreadFactory("BoneCP-keep-alive-scheduler"+suffix, true));
this.maxAliveScheduler = Executors.newScheduledThreadPool(this.config.getPartitionCount(), new CustomThreadFactory("BoneCP-max-alive-scheduler"+suffix, true));
this.connectionsScheduler = Executors.newFixedThreadPool(this.config.getPartitionCount(), new CustomThreadFactory("BoneCP-pool-watch-thread"+suffix, true));

其中keepAliveScheduler用来每隔一段时间检查connection的sleep状态时间是否达到了idleMaxAgeInSeconds或者是否已经失效,如果是,则会将连接kill掉,主要的逻辑见ConnectionTesterThread.java。

需要注意的是,在默认的配置下,该检查的调度是这样定义的:

this.keepAliveScheduler.scheduleAtFixedRate(connectionTester,delayInSeconds, delayInSeconds, TimeUnit.SECONDS);

此时delayInSeconds的值是取idleMaxAgeInSeconds值,即1小时,实际上只要idleMaxAgeInSeconds小于idleConnectionTestPeriodInSeconds,则delayInSeconds一定是idleMaxAgeInSeconds。这样,该线程每1小时就会启动一次,同时要检查时间阈值就会变成1小时。

keepalive线程要执行的命令是这样的:

final Runnable connectionTester = new ConnectionTesterThread(connectionPartition, this, this.config.getIdleMaxAge(TimeUnit.MILLISECONDS), this.config.getIdleConnectionTestPeriod(TimeUnit.MILLISECONDS), queueLIFO);

下面是对ConnectionTesterThread类的解析:

	protected ConnectionTesterThread(ConnectionPartition connectionPartition,
BoneCP pool, long idleMaxAgeInMs, long idleConnectionTestPeriodInMs, boolean lifoMode){
this.partition = connectionPartition;
this.idleMaxAgeInMs = idleMaxAgeInMs; //60 * 60 * 1000
this.idleConnectionTestPeriodInMs = idleConnectionTestPeriodInMs; //240 * 60 * 1000
this.pool = pool;
this.lifoMode = lifoMode;
}

上面代码中,两个主要时间用注释标明。

在该类中最重要的两段代码是用来判断connection的sleep时间是否超标的,只需要对比现在时间和connection最后一次使用时间中间的时间间隔就可以:

// check if connection has been idle for too long (or is marked as broken)
if (connection.isPossiblyBroken() || ((this.idleMaxAgeInMs > 0) && ( System.currentTimeMillis()-connection.getConnectionLastUsedInMs() > this.idleMaxAgeInMs))){
// kill off this connection - it's broken or it has been idle for too long
closeConnection(connection);
continue;
}

上一段代码判断connection是否sleep时间超过了idleMaxAgeInMs的规定(默认3600000ms)。

if (this.idleConnectionTestPeriodInMs > 0 && (currentTimeInMs-connection.getConnectionLastUsedInMs() > this.idleConnectionTestPeriodInMs) &&
(currentTimeInMs-connection.getConnectionLastResetInMs() >= this.idleConnectionTestPeriodInMs)) {
// send a keep-alive, close off connection if we fail.
if (!this.pool.isConnectionHandleAlive(connection)){
closeConnection(connection);
continue;
}
// calculate the next time to wake up
tmp = this.idleConnectionTestPeriodInMs;
if (this.idleMaxAgeInMs > 0){ // wake up earlier for the idleMaxAge test?
tmp = Math.min(tmp, this.idleMaxAgeInMs);
}
}

如果保持默认值,或者设置的值中idleConnectionTestPeriodInMs大于idleMaxAgeInMs的,则这段代码理论上讲不会执行。但是无论如何,这个类都是用来杀死connection的。

接下来继续看BoneCP类,在确定了keepalive调度之后(没有设置maxConnectionAgeInSeconds参数),程序会继续执行到

this.connectionsScheduler.execute(new PoolWatchThread(connectionPartition, this));

这段代码最主要的目的就是新建connection。如果没有设置,则会根据partition最大连接数和已创建连接数进行计算,决定下次新建的连接数。

至于一次新建多少连接,由该类PoolWatchThread.java中的这句决定:

fillConnections(Math.min(maxNewConnections, this.partition.getAcquireIncrement()));

而重要的参数maxNewConnections则是这样计算出来的:

maxNewConnections = this.partition.getMaxConnections()-this.partition.getCreatedConnections();

根据我对代码debug的情况看,连接新建无非分两个情况:keepalive杀死超时连接后和调用getConnection方法后。

让人奇怪的是为什么连接里明明有sleep的连接,却非要新建一个给客户端用?

跟代码发现了这个类:DefaultConnectionStrategy.java

if (!connectionPartition.isUnableToCreateMoreTransactions()){ // unless we can't create any more connections...
this.pool.maybeSignalForMoreConnections(connectionPartition); // see if we need to create more
}

注释中写了,除非是没办法新建连接了(因为到了上限),否则就会新建连接,此时需要了解maybeSignalForMoreConnections这个方法是干什么的?

于是又要回到BoneCP类:

/**
* Tests if this partition has hit a threshold and signal to the pool watch thread to create new connections
* @param connectionPartition to test for.
*/
protected void maybeSignalForMoreConnections(ConnectionPartition connectionPartition) { if (!connectionPartition.isUnableToCreateMoreTransactions()
&& !this.poolShuttingDown &&
connectionPartition.getAvailableConnections()*100/connectionPartition.getMaxConnections() <= this.poolAvailabilityThreshold){
connectionPartition.getPoolWatchThreadSignalQueue().offer(new Object()); // item being pushed is not important.
}
}

好了,发现问题关键了:

connectionPartition.getAvailableConnections()*100/connectionPartition.getMaxConnections() <= this.poolAvailabilityThreshold

这个判断很重要,poolAvailabilityThreshold这个值是0,这是默认值,也没设置过,由此可以推断connectionPartition.getAvailableConnections()一定为0(分母不可能为0,所以分子肯定是0)。

再看看connectionPartition.getAvailableConnections()是干什么的,从名字上看是获得可用连接的,那么明显没有获得可用连接:

protected int getAvailableConnections() {
return this.freeConnections.size();
}

freeConnections是一个Queue,它的size现在来看应该是0,也就是说没有free的connection。

但是明明初始化连接池的时候已经建立了连接的,而且我是调试程序,根本没有可能使用到已经建立的连接,为什么呢?

这个情况只在只建立了一个连接的时候才会出现,这是因为这个类DefaultConnectionStrategy.java的这句:

result = connectionPartition.getFreeConnections().poll();

在这一句执行之前,connectionPartition中的freeConnection属性中是有一个连接的,但是在poll执行之后,该连接被取出,因此freeConnection属性变成了一个空的Queue,size自然就是0了。所以该情况在最开始有一个以上连接的时候就不再存在了。

这也是正常的,因为只有一个connection对于pool来说是不安全的,请求了一个之后新建一个给之后的请求做准备。

*转载请注明源链接:http://www.cnblogs.com/wingsless/p/6188659.html

上一篇:ylb: 数据库备份(Backup)和还原(Restore)


下一篇:php session 读写锁