项目中遇到了MGET获取10000+数据时超时的问题,然后找到网友的测试结果如下(这里就不再重发测试代码,测试结果一致)
结论
- 一次操作10个key的性能达到一次操作1个key的88%
- 一次操作20个key的性能达到一次操作1个key的72%
- 一次操作50个key的性能达到一次操作1个key的59%
- 一次操作60个key的性能达到一次操作1个key的53%
- 一次操作80个key的性能达到一次操作1个key的43%
- 一次操作100个key的性能大道一次操作1个key的41%
- 一次操作200个key的性能只能达到一次操作1个key的25%,大约是一次处理100个key的60%
- 一次操作500个key的性能只能达到一次操作1个key的11%,大约是一次处理100个key的28%
- 一次操作800个key的性能只能达到一次操作1个key的7%,大约是一次处理100个key的17%
- 当key数目在10以内时,mget性能下降趋势非常小,性能基本上能达到redis实例的极限
- 当key数目在10~100之间时,mget性能下降明显,需要考虑redis性能衰减对系统吞吐的影响
- 当key数目在100以上时,mget性能下降幅度趋缓,此时redis性能已经较差,不建议使用在OLTP系统中,或者需要考虑其他手段来提升性能。
解决办法及测试结果(上代码看结果)
package cn.hs; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.boot.test.context.SpringBootTest; import org.springframework.data.redis.core.RedisCallback; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.test.context.junit4.SpringRunner; import javax.annotation.Resource; import java.nio.charset.StandardCharsets; import java.util.HashSet; import java.util.Set; @RunWith(SpringRunner.class) @SpringBootTest public class RedisGetTests { private static final String TYPE_NAME = RedisGetTests.class.getTypeName(); @Resource private RedisTemplate<String, Object> redisTemplate; @Test public void contextLoads() { Set<String> keySet = new HashSet<>(); for (int i = 0; i < 100000; i++) { String key = TYPE_NAME + ":" + i; keySet.add(key); } long time = System.currentTimeMillis(); multiGet(keySet); System.out.println("redisTemplate.opsForValue().multiGet \t 耗时:" + (System.currentTimeMillis() - time)); // 排除,太慢了 // time = System.currentTimeMillis(); // getData(keySet); // System.out.println("redisTemplate.opsForValue().get \t\t 耗时:" + (System.currentTimeMillis() - time)); // 推荐 time = System.currentTimeMillis(); getDataByPipelined(keySet); System.out.println("redisTemplate.executePipelined \t\t\t 耗时:" + (System.currentTimeMillis() - time)); } private void multiGet(Set<String> keySet) { redisTemplate.opsForValue().multiGet(keySet); } private void getData(Set<String> keySet) { for (String key : keySet) { redisTemplate.opsForValue().get(key); } } private void getDataByPipelined(Set<String> keySet) { redisTemplate.executePipelined((RedisCallback<Object>) redisConnection -> { for (String key : keySet) { redisConnection.get(key.getBytes(StandardCharsets.UTF_8)); } return null; }); } }
输出结果
redisTemplate.opsForValue().multiGet 耗时:422 redisTemplate.executePipelined 耗时:177
推荐方式
private void getDataByPipelined(Set<String> keySet) { redisTemplate.executePipelined((RedisCallback<Object>) redisConnection -> { for (String key : keySet) { redisConnection.get(key.getBytes(StandardCharsets.UTF_8)); } return null; }); }