总览
项目背景
为了提高MySQL数据库(基于C/S设计)的访问瓶颈,除了在服务器端增加缓存服务器缓存常用的数据之外(例如redis),还可以增加连接池,来提高MySQL Server的访问效率,在高并发情况下,大量的TCP三次握手、MySQL Server连接认证、MySQL Server关闭连接回收资源和TCP四次挥手所耗费的性能时间也是很明显的,增加连接池就是为了减少这一部分的性能损耗。
那么本项目是为了在C/C++项目中,提供MySQL Server的访问效率,实现基于C++代码的数据库连接池模块。
目的都是避免资源的重复创建和销毁,提高程序的效率
正常来说,访问一次数据库需要以下操作:
- TCP三次握手
- MySQL连接验证
- MySQL执行
- MySQL 的关闭,资源回收
- TCP四次挥手
而如果使用连接池的话,就仅仅需要第三步 — MySQL执行的时间。
功能介绍
初始连接量(initSize):
连接池事先会和MySQL Server创建initSize个数的connection连接。
当应用发起MySQL访问时,不用再创建和MySQL Server新的连接,直接从连接池中获取一个可用的连接就可以。
使用完成后,并不去释放connection,而是把当前connection再归还到连接池当中。
最大连接量(maxSize):
当并发访问MySQL Server的请求增多时,初始连接量已经不够使用了,此时会根据新的请求数量去创建更多的连接给应用去使用。但是新创建的连接数量上限是maxSize,不能无限制的创建连接,因为每一个连接都会占用一个socket资源,一般连接池和服务器程序是部署在一台主机上的,如果连接池占用过多的socket资源,那么服务器就不能接收太多的客户端请求了。当这些连接使用完成后,再次归还到连接池当中来维护。
最大空闲时间(maxIdleTime):
当访问MySQL的并发请求多了以后,连接池里面的连接数量会动态增加,上限是maxSize个,当这些连接用完再次归还到连接池当中。
如果在指定的maxIdleTime里面,这些新增加的连接都没有被再次使用过,那么新增加的这些连接资源就要被回收掉,只需要保持初始连接量initSize个连接就可以了。
连接超时时间(connectionTimeout):
当MySQL的并发请求量过大,连接池中的连接数量已经到达maxSize了,而此时没有空闲的连接可供使用,那么此时应用从连接池获取连接无法成功,它通过阻塞的方式获取连接的时间如果超过connectionTimeout时间,那么获取连接失败,无法访问数据库。
该项目主要实现上述的连接池四大功能,其余连接池更多的扩展功能,可以自行实现。
项目功能点设计和技术讲解
连接池代码实现:
ConnectionPool.cpp
ConnectionPool.h
1.连接池只需要一个实例,所以ConnectionPool以单例模式(线程安全的懒汉模式)进行设计
2.从ConnectionPool中可以获取和MySQL的链接Connection
3.空闲连接Connection全部维护在一个线程安全的Connection中,使用线程互斥锁保证队列的安全
4.如果Connection队列为空,还需要再获取连接,此时需要动态创建连接,上限数量是maxSize
5.队列中空闲连接时间超过maxIdleTime的就要被释放掉,只保留初始的initSize个连接就可以了,这个功能点肯定需要放在独立的线程中去做
6.如果Connection队列为空,而此时连接的数量已达上限maxSize,那么等待connectionTimeout时间如果还获取不到空闲的连接,那么获取连接失败,此处从Connection队列获取空闲连接,可以使用带超时时间的mutex互斥锁来实现连接超时时间
7.用户获取的连接用shared_ptr智能指针来管理,用lambda表达式定制连接释放的功能(不真正释放连接,而是把连接归还到连接池中)
8.连接的生产和连接的消费采用生产者-消费者线程模型来设计,使用了线程间的同步通信机制条件变量和互斥锁
MYSQL连接
安装MySQL:具体可以看这里
创建一个数据库(我创建的是tc_connection)
创建表user,表结构如下
然后创建一个新的项目(推荐是windows控制台应用)
创建相应空文件
0.找到mysql默认路径:一般是C:\Program Files\MySQL\MySQL Server 8.0路径下
1.右键项目 - C/C++ - 常规 - 附加包含目录,填写mysql.h头文件的路径
2.右键项目 - 链接器 - 常规 - 附加库目录,填写libmysql.lib的路径
3.右键项目 - 链接器 - 输入 - 附加依赖项,填写libmysql.lib库的名字
4.把libmysql.dll动态链接库(Linux下后缀名是.so库)放在工程目录下
打开项目文件夹
直接复制一份ibmysql.dll到项目目录下
编写connection.h头文件
#pragma once
#include<mysql.h>
#include<string>
using namespace std;
/*
实现mysql数据库操作
*/
class connection
{
public:
//
connection();
~connection();
//连接数据库
bool connect(string ip,
unsigned short port,
string user,
string password,
string dbname);
//更新操作insert,delete,update
bool update(string sql);
//查询操作
MYSQL_RES* query(string sql);
private:
MYSQL* _conn;
};
补充connection.cpp源文件:
#include "public.h"
#include"connection.h"
#include<string>
#include<iostream>
using namespace std;
connection::connection()
{
//初始化连接
_conn = mysql_init(nullptr);
}
connection::~connection()
{
//释放数据库连接资源
if (_conn != nullptr)
mysql_close(_conn);
}
bool connection::connect(string ip, unsigned short port, string user, string password,
string dbname)
{
MYSQL* p = mysql_real_connect(_conn, ip.c_str(), user.c_str(),
password.c_str(), dbname.c_str(), port, nullptr, 0);
return p != nullptr;
}
// 更新操作 insert、delete、update
bool connection::update(string sql)
{
if (mysql_query(_conn, sql.c_str()))
{
LOG("更新失败:" + sql);
return false;
}
return true;
}
// 查询操作 select
MYSQL_RES* connection::query(string sql)
{
if (mysql_query(_conn, sql.c_str()))
{
LOG("查询失败:" + sql);
return nullptr;
}
return mysql_use_result(_conn);
}
运行main函数,添加一条数据库记录
main():
#include<iostream>
using namespace std;
#include"connection.h"
int main()
{
connection conn;
char sql[1024] = { 0 };
sprintf(sql, "insert into user(name,age,sex) values('%s',%d,'%s')",
"zhang san",20,"male");
conn.connect("127.0.0.1", 3306, "root", "jiabei880", "tc_connection");
/*if (bb == true) cout << "成功" << endl;
else cout << "失败" << endl;*/
conn.update(sql);
return 0;
运行测试成功后
查询数据库是否有数据加入
成功
连接池单例代码
连接池头文件 — 连接池使用单例模式创建
#pragma once
#include<string>
#include<queue>
#include<mutex>
#include<atomic>
using namespace std;
#include"connection.h"
/*
实现连接池功能模块
*/
class ConnectionPool
{
public:
//获取连接池对象实例
static ConnectionPool* getConnectionPool();
private:
ConnectionPool();//单例1 构造函数私有化
bool loadConfigFile();//从配置文件中加载配置项
string _ip; //mysql的ip地址
unsigned short _port; //mysql的端口号--默认3306
string _username; //mysql登录用户名
string _password; //密码
int _initSize; //连接池的初始连接量
int _maxSize; //连接池的最大连接量
int _maxIdleTime; //连接池最大空闲时间
int _connectionTimeout; //连接池获取连接的超时时间
string _dbname; //数据库名称
};
源文件
// mysqlconnection.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//
#include"mysqlconnection.h"
#include"public.h"
#include <iostream>
//线程安全的懒汉单例函数接口
ConnectionPool* ConnectionPool::getConnectionPool()
{
static ConnectionPool pool;//编译器来lock和unlock,安全
return &pool;
}
//连接池的构造
ConnectionPool::ConnectionPool()
{
}
加载连接池性能参数配置
通过一个txt文本来保持配置文件,之后使用就修改配置文件,而不需要在代码中修改。
#数据库连接池的配置文件
ip=127.0.0.1
port=3306
username=root
password=jiabei880
initSize=10
maxSize=1024
#最大空闲时间,默认单位是秒
maxIdleTime=60
#连接超时时间,单位是毫秒
maxConnnectionTimeOut=100
头文件中添加数据加载方法
queue<connection*> _connectionQue; //存储mysql连接的队列
mutex _queueMutex; //维护连接队列的线程安全互斥锁
atomic_int _connectionCnt;//记录连接所创建的connection连接的总数量
源文件中实现
// mysqlconnection.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//
#include"mysqlconnection.h"
#include"public.h"
#include <iostream>
//线程安全的懒汉单例函数接口
ConnectionPool* ConnectionPool::getConnectionPool()
{
static ConnectionPool pool;//编译器来lock和unlock,安全
return &pool;
}
bool ConnectionPool::loadConfigFile()
{
FILE* pf = fopen("mysqlcnf.txt", "r");
if (pf == nullptr)
{
LOG("mysqlcnf.txt file is not exist!");
return false;
}
while (!feof(pf))
{
char line[1024] = { 0 };
fgets(line, 1024, pf);
string str = line;
int idx = str.find('=', 0);
if (idx == -1) // 无效配置项(注释)
{
continue;
}
int endidx = str.find('\n', idx);
string key = str.substr(0, idx);
string value = str.substr(idx + 1, endidx - idx-1);
if (key == "ip")
{
_ip = value;
}
else if (key == "port")
{
_port = atoi(value.c_str());
}
else if (key == "username")
{
_username = value;
}
else if (key == "password")
{
_password = value;
}
else if (key == "dbname")
{
_dbname = value;
}
else if (key == "initSize")
{
_initSize = atoi(value.c_str());
}
else if (key == "maxSize")
{
_maxSize = atoi(value.c_str());
}
else if (key == "maxIdleTime")
{
_maxIdleTime = atoi(value.c_str());
}
else if (key == "connectionTimeOut")
{
_connectionTimeout = atoi(value.c_str());
}
}
return true;
}
//连接池的构造
ConnectionPool::ConnectionPool()
{
//加载配置项
if (!loadConfigFile())
{
return;
}
//创建初始数量的连接
for (int i = 0; i < _initSize; ++i)
{
connection* p = new connection();
p->connect(_ip, _port, _username, _password, _dbname);
_connectionQue.push(p);
_connectionCnt++;
}
}