Qt数据库应用11-通用数据生成器

2022-05-01 12:47:53

一、前言

有两种应用场景需要用到数据生成器，一种是需要测试数据库性能，比如在100万条和1000万条记录的时候对比查询或更新语句执行耗时，一种是随机模拟生成一堆数据，用来测试程序的性能，看下程序中到了百万千万级别的数据量的时候，程序的代码执行是否受影响，影响有大等。很多人觉得sqlite数据库性能超过几十万就不行，于是亲自用这个数据发生器随机模拟生成了一亿条记录，测试下来发现性能有损失，但是不像传说中的垃圾，起码还是完全可用的，只要注意索引要建好，文件体积比较大就是，文件体积膨胀到了1.2GB，估计性能损耗很大程度上在磁盘读写。

通过对各种数据库（sqlite、postgres、mysql、sqlserver等）不同数据量阶段（1万条、100万条、1000万条等）做不同的sql语句处理（查询、插入、删除、更新），Qt内置了sqlite数据库，所以对sqlite的支持是最快最友好的，其次是postgresql数据库、然后是mysql，支持最差的性能最低的是ODBC模式连接的数据库，比如sqlserver数据库必须用odbc的形式连接，由于odbc是一个中间层，理论上性能也是肯定没有直接连接处理快，不过纵观各种用Qt写的项目的场景，很少是需要千万级别亿级别的数据量的，真的到了这个程度可以考虑分库分表来解决。

关于Qt数据库相关开发的一些经验总结：
https://qtchina.blog.csdn.net/article/details/119022424

二、功能特点

同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。
一个数据库类即可管理本地数据库通信，也支持远程数据库通信等。
数据库线程支持执行各种sql语句，包括单条和批量。
组件中的所有类打印信息、错误信息、执行结果都信号发出去。
集成数据库通用翻页类（负责具体处理逻辑），搭配分页导航控件（负责外观），形成超级牛逼的翻页控件。
集成数据库自动清理类，设定最大记录数后台自动清理早期数据。
集成自定义委托类，支持复选框、文本框、下拉框、日期框、微调框、进度条等。
同时支持Qt4-Qt6，亲测Qt4.6到Qt6.3任意版本，任意系统和编译器。
本组件无故障 360天7乘24小时运行在至少上万个现场，商业级别品质保证。
每个类都对应完整详细的使用示例，注释详细，非常适合阅读学习。
可以作为独立的程序运行，比如自动清理早期数据，同步数据到云端。
全部线程处理，不卡界面，自动重连数据库。
普通测试情况，sqlite数据库，数据库发生器每秒钟插入1000条记录约0.003秒钟，同时自动清理数据类每秒钟删除1000条记录约0.13秒，不同线程互不干扰。

三、体验地址

体验地址：https://pan.baidu.com/s/1ZxG-oyUKe286LPMPxOrO2A 提取码：o05q 文件名：bin_dbtool.zip
国内站点：https://gitee.com/feiyangqingyun
国际站点：https://github.com/feiyangqingyun
个人主页：https://blog.csdn.net/feiyangqingyun
知乎主页：https://www.zhihu.com/people/feiyangqingyun/

四、效果图

五、相关代码

void frmDbCreat::on_btnOpen_clicked()
{
    if (ui->btnOpen->text() == "打开数据库") {
        DbInfo dbInfo;
        dbInfo.connName = this->objectName();
        dbInfo.dbName = AppConfig::DbName2;
        dbInfo.hostName = AppConfig::HostName2;
        dbInfo.hostPort = AppConfig::HostPort2;
        dbInfo.userName = AppConfig::UserName2;
        dbInfo.userPwd = AppConfig::UserPwd2;

        QString dbType = AppConfig::DbType2.toUpper();
        if (dbType == "SQLITE") {
            dbInfo.dbName = DbHelper::getDbDefaultFile();
        }

        dbConn->setConnInfo(DbHelper::getDbType(dbType), dbInfo);
        if (dbConn->openDb()) {
            dbConn->start();
            ui->btnOpen->setText("关闭数据库");
        } else {
            QString error = dbConn->getDatabase().lastError().text();
            QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3);
        }
    } else {
        dbConn->stop();
        dbConn->closeDb();
        ui->btnOpen->setText("打开数据库");
        on_btnClear_clicked();
    }

    QTimer::singleShot(100, this, SLOT(getMaxID()));
    QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked()));
}

void frmDbCreat::on_btnCopy_clicked()
{
    //将数据库设置参数一键粘贴过来
    ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType));
    ui->txtDbName->setText(AppConfig::LocalDbName);
    ui->txtHostName->setText(AppConfig::LocalHostName);
    ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort));
    ui->txtUserName->setText(AppConfig::LocalUserName);
    ui->txtUserPwd->setText(AppConfig::LocalUserPwd);
}

void frmDbCreat::getMaxID()
{
    if (!dbConn->getOk()) {
        return;
    }

    //根据插入sql语句取出对应的表名和自增字段
    QString sqlColumn = AppConfig::SqlColumn2;
    QString sqlValue = AppConfig::SqlValue2;
    if (sqlValue.contains("AUTO_INCREMENT")) {
        sqlColumn.replace("insert into ", "");
        sqlValue.replace("values", "");
        QString tableName = sqlColumn.split("(").first();
        sqlColumn.replace(tableName, "");
        sqlColumn.replace("(", "");
        sqlColumn.replace(")", "");
        sqlValue.replace("(", "");
        sqlValue.replace(")", "");

        QStringList listColumn = sqlColumn.split(",");
        QStringList listValue = sqlValue.split(",");
        int index = listValue.indexOf("'AUTO_INCREMENT'");
        QString columnName = listColumn.at(index);
        //取出最大记录数
        maxID = DbHelper::getMaxID(tableName, columnName, dbConn->getDatabase());
    }
}

void frmDbCreat::on_btnDo_clicked()
{
    if (!dbConn->getOk()) {
        return;
    }

    QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2;
    //qDebug() << TIMEMS << sql;

    QStringList sqls;
    for (int i = 0; i < AppConfig::Count2; ++i) {
        QString temp = sql;
        //替换自增ID
        maxID++;
        temp.replace("AUTO_INCREMENT", QString::number(maxID));
        //替换时间
        temp.replace("DATETIME", DATETIME);
        sqls << temp;
    }

    dbConn->append(sqls);
}

void frmDbCreat::on_btnCount_clicked()
{
    dbConn->selectCount("LogInfo", "LogID", "where 1=1");
}

void frmDbCreat::on_btnStart_clicked()
{
    if (ui->btnStart->text() == "启动服务") {
        on_btnDo_clicked();
        timer->start();
        ui->btnStart->setText("停止服务");
    } else {
        timer->stop();
        ui->btnStart->setText("启动服务");
    }
}

码农公寓

一、前言

二、功能特点

三、体验地址

四、效果图

五、相关代码

相关文章