redis(三)--用Redis作为Mysql数据库的缓存

MySQL结果集缓存到Redis的字符串或哈希结构中以后,我们面临一个新的问题,即如何为这些字符串或哈希命名,也就是如何确定它们的键。因为这些数据结构所对应的行都属于某个结果集,假如可以找到一种唯一标识结果集的方法,那么只需为这些数据结构分配一个唯一的序号,然后把结果集标识符与该序号结合起来,就能唯一标识一个数据结构了。于是,为字符串和哈希命名的问题就转化为确定结果集标识符的问题。

经过调研,发现一种较为通用的确定结果集标识符的方法。正如我们所知道的,缓存在redis中的结果集数据都是利用select等sql语句从mysql中获取的。同样的查询语句会生成同样的结果集(这里暂时不讨论结果集中每条记录的顺序问题),这一性质刚好可以用来确定结果集的唯一标识符。当然,简单地把整个sql语句作为结果集标识符是不可取的,一个显而易见的理由是,未经处理的sql查询语句均包含若干空格,而Redis的键是不允许存在空格的。这时,我们需要一个可以把sql语句转换为唯一标识符的函数。通常,这一功能由散列函数完成,包括MD5,SHA系列等加密散列函数在内的很多算法均可达到这一目的。

确定结果集标识符之后,从Redis读数据或向Redis写数据的思路就很清晰了。对于一个sql语句格式的数据请求,首先计算该语句的MD5并据此得到结果集标识符,然后利用该标识符在Redis中查找该结果集。注意,结果集中的每一行都有一个相应的键,这些键都存储在一个Redis集合结构中。这个集合恰好对应了所需的结果集,所以,该集合的键必须包含结果集标识符。如果Redis中不存在这样一个集合,说明要找的结果集不在Redis中,所以需要执行相应的sql语句,在Mysql中查询到相应的结果集,然后按照上面所说的办法把结果集中的每一行以字符串或哈希的形式存入Redis。在Redis中查找相应结果集的代码如下:

  1. // 该函数根据sql语句在Redis中查询相应的结果集,并返回结果集中每一行所对应的数据结构的键
  2. vector<string> GetCache(sql::Connection *mysql_connection,
  3. redisContext *redis_connection,
  4. const string &sql, int ttl, int type) {
  5. vector<string> redis_row_key_vector;
  6. string resultset_id = md5(sql);  // 计算sql语句的md5,这是唯一标识结果集的关键
  7. // type==1时,该函数将查询相应的STRING集合或将结果集写入若干STRING
  8. string cache_type = (type == 1) ? "string" : "hash";
  9. // 根据type信息和结果集标识符合成SET键
  10. string redis_row_set_key = "resultset." + cache_type + ":" + resultset_id;
  11. redisReply *reply;
  12. // 尝试从reply中获取SET中保存的所有键
  13. reply = static_cast<redisReply*>(redisCommand(redis_connection,
  14. "SMEMBERS %s",
  15. redis_row_set_key.c_str()));
  16. if (reply->type == REDIS_REPLY_ARRAY) {
  17. // 如果要找的SET不存在,说明Redis中没有相应的结果集,需要调用Cache2String或
  18. // Cache2Hash函数把数据从Mysql拉取到Redis中
  19. if (reply->elements == 0) {
  20. freeReplyObject(reply);
  21. sql::Statement *stmt = mysql_connection->createStatement();
  22. sql::ResultSet *resultset = stmt->executeQuery(sql);
  23. if (type == 1) {
  24. redis_row_set_key = Cache2String(mysql_connection, redis_connection,
  25. resultset, resultset_id, ttl);
  26. } else {
  27. redis_row_set_key = Cache2Hash(mysql_connection, redis_connection,
  28. resultset, resultset_id, ttl);
  29. }
  30. // 再次尝试从reply中获取SET中保存的所有键
  31. reply = static_cast<redisReply*>(redisCommand(redis_connection,
  32. "SMEMBERS %s",
  33. redis_row_set_key.c_str()));
  34. delete resultset;
  35. delete stmt;
  36. }
  37. // 把SET中的每个STRING或HASH键存入redis_row_key_vector中
  38. string redis_row_key;
  39. for (int i = 0; i < reply->elements; ++i) {
  40. redis_row_key = reply->element[i]->str;
  41. redis_row_key_vector.push_back(redis_row_key);
  42. }
  43. freeReplyObject(reply);
  44. } else {
  45. freeReplyObject(reply);
  46. throw runtime_error("FAILURE - SMEMBERS error");
  47. }
  48. return redis_row_key_vector;
  49. }
// 该函数根据sql语句在Redis中查询相应的结果集,并返回结果集中每一行所对应的数据结构的键
vector<string> GetCache(sql::Connection *mysql_connection,
redisContext *redis_connection,
const string &sql, int ttl, int type) {
vector<string> redis_row_key_vector;
string resultset_id = md5(sql); // 计算sql语句的md5,这是唯一标识结果集的关键
// type==1时,该函数将查询相应的STRING集合或将结果集写入若干STRING
string cache_type = (type == 1) ? "string" : "hash";
// 根据type信息和结果集标识符合成SET键
string redis_row_set_key = "resultset." + cache_type + ":" + resultset_id;
redisReply *reply;
// 尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
if (reply->type == REDIS_REPLY_ARRAY) {
// 如果要找的SET不存在,说明Redis中没有相应的结果集,需要调用Cache2String或
// Cache2Hash函数把数据从Mysql拉取到Redis中
if (reply->elements == 0) {
freeReplyObject(reply);
sql::Statement *stmt = mysql_connection->createStatement();
sql::ResultSet *resultset = stmt->executeQuery(sql);
if (type == 1) {
redis_row_set_key = Cache2String(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
} else {
redis_row_set_key = Cache2Hash(mysql_connection, redis_connection,
resultset, resultset_id, ttl);
}
// 再次尝试从reply中获取SET中保存的所有键
reply = static_cast<redisReply*>(redisCommand(redis_connection,
"SMEMBERS %s",
redis_row_set_key.c_str()));
delete resultset;
delete stmt;
}
// 把SET中的每个STRING或HASH键存入redis_row_key_vector中
string redis_row_key;
for (int i = 0; i < reply->elements; ++i) {
redis_row_key = reply->element[i]->str;
redis_row_key_vector.push_back(redis_row_key);
}
freeReplyObject(reply);
} else {
freeReplyObject(reply);
throw runtime_error("FAILURE - SMEMBERS error");
}
return redis_row_key_vector;
}

现在我们已经掌握了确定Redis中的结果集标识符以及各数据结构的键的方法。下一篇文章将研究结果集在Redis中的排序和分页问题。

上一篇:如何在Windows上从源码编译Chromium (CEF3) 加入mp3支持


下一篇:多线程&多进程解析:Python、os、sys、Queue、multiprocessing、threading