排查Redis大key的方法总结
更新时间：2024年08月14日 08:29:27 作者：jc0803kevin
这篇文章主要介绍了排查Redis大key的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面跟着小编来一起学习学习吧
排查Redis大key的方法
redis-cli --bigkeys
特点：
- 使用–bigkeys参数会扫描整个Redis数据库，应该在低流量峰值时执行
- 这个方法只能返回每种类型中最大的那个bigkey，无法得到大小排到前N位的bigkey
- 对于集合类型来说，这个方法只统计集合元素的多少，而不是实际占用的内存量。因为一个集合中元素个数多，并不一定占用内存就多
@GetMapping("init")
@Async
public void initData(@RequestParam (name = "size", defaultValue = "5000") Integer size){
redisTemplate.opsForValue().set("string_large_key1", generateTestData(10* 1024));
redisTemplate.opsForValue().set("string_large_key2", generateTestData(10* 1024));
redisTemplate.opsForSet().add("set_large_key1", new HashSet<>(50000));
redisTemplate.opsForSet().add("set_large_key2", new HashSet<>(50000));
redisTemplate.opsForHash().putAll("hash_large_key1", buildMapData(50000));
redisTemplate.opsForHash().putAll("hash_large_key2", buildMapData(50000));
redisTemplate.opsForList().rightPushAll("list_large_key1", buildListData(50000));
redisTemplate.opsForList().rightPushAll("list_large_key2", buildListData(50000));
}
private Map buildMapData(int initialCapacity){
Map<String, String> result =new HashMap<>(initialCapacity);
for (int i = 0; i < initialCapacity; i++) {
result.put("kevin_" + i, "123");
}
return result;
}
private List<String> buildListData(int initialCapacity){
List<String> result = new ArrayList<>(initialCapacity);
for (int i = 0; i < initialCapacity; i++) {
result.add("kevin_" + i );
}
return result;
}
- 使用–bigkeys查询
root@DESKTOP-0JS7U4E:~# redis-cli -h 127.0.0.1 -p 16379 --bigkeys # Scanning the entire keyspace to find biggest keys as well as # average sizes per key type. You can use -i 0.1 to sleep 0.1 sec # per 100 SCAN commands (not usually needed). [00.00%] Biggest hash found so far 'hash_large_key2' with 50000 fields # 只返回了最大的那个bigkey [00.00%] Biggest string found so far 'string_large_key2' with 10485762 bytes [00.00%] Biggest set found so far 'set_large_key2' with 1 members [00.00%] Biggest list found so far 'list_large_key1' with 50000 items -------- summary ------- Sampled 9 keys in the keyspace! Total key length in bytes is 135 (avg len 15.00) Biggest list found 'list_large_key1' has 50000 items Biggest hash found 'hash_large_key2' has 50000 fields Biggest string found 'string_large_key2' has 10485762 bytes Biggest set found 'set_large_key2' has 1 members # 返回了list的容量 2 lists with 100000 items (22.22% of keys, avg size 50000.00) # 返回了hash的容量 2 hashs with 100000 fields (22.22% of keys, avg size 50000.00) 2 strings with 20971524 bytes (22.22% of keys, avg size 10485762.00) 0 streams with 0 entries (00.00% of keys, avg size 0.00) 3 sets with 3 members (33.33% of keys, avg size 1.00) 0 zsets with 0 members (00.00% of keys, avg size 0.00) root@DESKTOP-0JS7U4E:~#
redis-cli scan VS memory usage组合
实际上bigkey的底层也使用SCAN命令执行。
SCAN命令可以用于迭代遍历所有key。它是一个非阻塞操作，支持游标(cursor)的方式来逐步遍历所有key。使用SCAN命令可以避免阻塞，减少对Redis性能的影响。
1、先使用scan扫描出key
127.0.0.1:16379> scan 1000 MATCH "string*" 1) "0" 2) 1) "string_large_key2" 2) "string_large_key1" 127.0.0.1:16379> 127.0.0.1:16379> scan 0 MATCH "string*" count 20 1) "0" 2) 1) "string_large_key2" 2) "string_large_key1" 127.0.0.1:16379>
2、使用 memory usage查询key占用的内存大小
127.0.0.1:16379> memory usage string_large_key1 (integer) 10485831 127.0.0.1:16379>
这样组合的方式操作比较复杂，需要对命令使用非常熟悉。在生产环境需要更快，更高效的发现问题还是建议使用成熟的分析工具，毕竟也都是用这些命令组合起来的。
使用云上的Redis可以直接使用CloundDBA功能
redis-rdb-tools
该三方工具Github地址redis-rdb-tools。
安装该分析工具
python setup.py install
要使用memory功能，需要安装
pip3 install python-lzf
如果出现没有权限的问题，那就以管理员打开cmd再运行
error: [Errno 13] Permission denied: 'C:\\Python310\\Scripts\\rdb-script.py'
安装完成之后目录下面多出这几个文件。
C:\Python310\Scripts>dir .................... 2024/08/08 13:38 996 rdb-script.py 2024/08/08 13:38 74,752 rdb.exe 2024/08/08 13:38 1,030 redis-memory-for-key-script.py 2024/08/08 13:38 74,752 redis-memory-for-key.exe 2024/08/08 13:38 1,018 redis-profiler-script.py 2024/08/08 13:38 74,752 redis-profiler.exe C:\Python310\Scripts>
使用rdb进行分析
C:\Python310\Scripts>rdb --command memory --bytes 102400 \\wsl.localhost\Ubuntu-20.04\var\lib\redis\dump.rdb database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry 0,hash,hash_large_key2,3186588,hashtable,50000,11, 0,hash,hash_large_key1,3186588,hashtable,50000,11, 0,string,string_large_key1,12582976,string,10485762,10485762, 0,list,list_large_key1,744355,quicklist,50000,13, 0,string,string_large_key2,12582976,string,10485762,10485762, 0,list,list_large_key2,744355,quicklist,50000,13, C:\Python310\Scripts>
也可以加上-f参数，将结果输出到本地文件中。
rdb --command memory --bytes 102400 \\wsl.localhost\Ubuntu-20.04\var\lib\redis\dump.rdb -f d:\kevin.csv
以上就是排查Redis大key的方法总结的详细内容，更多关于排查Redis大key的资料请关注脚本之家其它相关文章！
相关文章
本文主要介绍了Redis 实现点赞功能并且与数据库同步，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-05-05
这篇文章主要给大家介绍了关于Redis分布式锁的正确实现方法，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-08-08
项目操作redis是使用的RedisTemplate方式，另外还可以完全使用JedisPool和Jedis来操作redis,本文给大家介绍Redis在项目中的使用，JedisPool方式，感兴趣的朋友跟随小编一起看看吧2021-12-12
这篇文章主要介绍了redis主从连接不成功错误问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教<BR>2024-01-01
本文以Redis、InnoDB为例给大家讲解缓存替换策略及应用，本文给大家提到五种置换策略，通过实例代码给大家介绍的非常详细，需要的朋友参考下吧2021-07-07
Zset是Redis的一种有序集合数据类型,Zset通过压缩列表和跳跃表两种底层编码方式支持小数据集和大数据集,支持多种操作,包括添加、查询、删除元素以及集合运算等,具有不同的时间复杂度,感兴趣的可以了解一下2024-10-10
这篇文章主要为大家介绍了Redisson分布式锁加解锁的详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要给大家介绍了关于Redis中LRU淘汰策略的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Redis具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-06-06
这篇文章主要介绍了详解Redis实现限流的三种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要介绍了Redis解决Session共享问题,本文结合实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-07-07
最新评论