脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Redis → Redis高效删除大key

Redis如何高效删除大key

 更新时间：2024年04月03日 15:55:20   作者：3333333_  
这篇文章主要介绍了Redis如何高效删除大key问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

大key的删除问题

大key（bigkey）是指 key 的 value 是个庞然大物，例如 Hashes, Sorted Sets, Lists, Sets，日积月累之后，会变得非常大，可能几十上百MB，甚至到GB。

如果对这类大key直接使用 del 命令进行删除，会导致长时间阻塞，甚至崩溃。

因为 del 命令在删除集合类型数据时，时间复杂度为 O(M)，M 是集合中元素的个数。

Redis 是单线程的，单个命令执行时间过长就会阻塞其他命令，容易引起雪崩。

解决方案

不可靠方案：

  • 空闲时间删除，如凌晨3-4点删除

可靠方案：

  • 渐进式删除
  • UNLINK (4.0版本以后)

1.渐进式删除

思路：

分批删除，通过 scan 命令遍历大key，每次取得少部分元素，对其删除，然后再获取和删除下一批元素。

示例：

  • 删除大 Hashes

步骤：

（1）key改名，相当于逻辑上把这个key删除了，任何redis命令都访问不到这个key了

（2）小步多批次的删除

伪代码：

# key改名
newkey = "gc:hashes:" + redis.INCR( "gc:index" )
redis.RENAME("my.hash.key", newkey)
 
# 每次取出100个元素删除
cursor = 0
loop
  cursor, hash_keys = redis.HSCAN(newkey, cursor, "COUNT", 100)
  if hash_keys count > 0
    redis.HDEL(newkey, hash_keys)
  end
  if cursor == 0
    break
  end
end
  • 删除大 Lists

伪代码：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.list.key", newkey)
 
# 删除
while redis.LLEN(newkey) > 0
  redis.LTRIM(newkey, 0, -99)
end
  • 删除大 Sets

伪代码：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.set.key", newkey)
 
# 每次删除100个成员
cursor = 0
loop
  cursor, members = redis.SSCAN(newkey, cursor, "COUNT", 100)
  if size of members > 0
    redis.SREM(newkey, members)
  end
  if cursor == 0
    break
  end
end
  • 删除大 Sorted Sets

伪代码：

# key改名
newkey = "gc:hashes:" + redis.INCR("gc:index")
redis.RENAME("my.zset.key", newkey)
 
# 删除
while redis.ZCARD(newkey) > 0
  redis.ZREMRANGEBYRANK(newkey, 0, 99)
end

2.UNLINK

Redis 4.0 推出了一个重要命令 UNLINK，用来拯救 del 删大key的困境。

UNLINK 工作思路：

（1）在所有命名空间中把 key 删掉，立即返回，不阻塞。

（2）后台线程执行真正的释放空间的操作。

UNLINK 基本可以替代 del，但个别场景还是需要 del 的，例如在空间占用积累速度特别快的时候就不适合使用UNLINK，因为 UNLINK 不是立即释放空间。

总结

使用 del 删除大key可能会造成长时间阻塞，甚至崩溃。

可以使用渐进式删除，对 Hashes, Sorted Sets, Lists, Sets 分别处理，思路相同，先逻辑删除，对key改名，使客户端无法使用原key，然后使用批量小步删除。

4.0版本以后可以使用 UNLINK 命令，后台线程释放空间。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Redis如何使用lua脚本实例教程

    Redis如何使用lua脚本实例教程

    这篇文章主要给大家介绍了关于Redis如何使用lua脚本的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2018-10-10
  • 浅谈为什么单线程的redis那么快

    浅谈为什么单线程的redis那么快

    本文主要介绍了为什么单线程的redis那么快，主要介绍了几点原因，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-09-09
  • redis stream 实现消息队列的实践

    redis stream 实现消息队列的实践

    本文主要介绍了redis stream 实现消息队列的实践，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • Redis设置密码保护的实例讲解

    Redis设置密码保护的实例讲解

    今天小编就为大家分享一篇Redis设置密码保护的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Redis远程连接Redis客户端的实现步骤

    Redis远程连接Redis客户端的实现步骤

    本文主要介绍了Redis远程连接Redis客户端的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • Redis数据库中实现分布式锁的方法

    Redis数据库中实现分布式锁的方法

    这篇文章主要介绍了Redis数据库中实现分布式锁的方法,Redis是一个高性能的主存式数据库,需要的朋友可以参考下
    2015-06-06
  • Redis过期Key删除策略和内存淘汰策略的实现

    Redis过期Key删除策略和内存淘汰策略的实现

    当内存使用达到上限,就无法存储更多数据了,为了解决这个问题,Redis内部会有两套内存回收的策略,过期Key删除策略和内存淘汰策略,本文就来详细的介绍一下这两种方法,感兴趣的可以了解一下
    2024-02-02
  • Redis 基础教程之事务的使用方法

    Redis 基础教程之事务的使用方法

    这篇文章主要介绍了Redis 基础教程之事务的使用方法的相关资料,Redis 事务可以一次执行多个命令和保证，单独的隔离操作和原子操作需要的朋友可以参考下
    2017-08-08
  • Redis全量同步和增量同步原理

    Redis全量同步和增量同步原理

    主从第一次同步是全量同步：也就是说，当你主从节点连接建立后，需要执行一次全量同步，但如果slave重启后同步，此时slave重启后，slave节点和master节点的数据之间有落后，因此需要进行增量同步，感兴趣的同学可以参考阅读
    2023-04-04
  • redisson锁tryLock的正确使用方式

    redisson锁tryLock的正确使用方式

    这篇文章主要介绍了redisson锁tryLock的正确使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12

最新评论