基于redis实现定时任务的方法详解

 更新时间:2019年08月27日 09:44:36   作者:雨茗良记  
这篇文章主要给大家介绍了基于redis实现定时任务的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用redis具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

前言

业务中碰到的需求(抽象描述一下):针对不同的用户能够实现不同时间的间隔循环任务。比如在用户注册成功24小时后给用户推送相关短信等类似需求。

使用crontab?太重,且基本不现实,不可能给每一个用户在服务器上生成一个定时任务。
定时轮询?IO频繁且效率太低

想到经常的使用的redis可以设置缓存时间,应该会有过期的事件通知吧,查了一下文档,果然有相关配置,叫做“键空间事件通知”。具体说明可参考官方文档

技术栈

redis / nodeJs / koa

技术重难点

  • 开启redis的键空间通知功能(2.8.0及以上的版本才有此功能)
  • 尽量使用单独的redis db来实现
  • 使用基于redis的分布式锁来实现相关事件不会被重复消费
  • 需要二次使用的信息需要体现在redis缓存的key中
  • redis cache key使用业务前缀,避免重名覆盖
  • 防止业务服务重启导致nodejs层面的监听失效

"talk is cheap, show me the code 🤖"

核心代码

核心代码
const { saveClient, subClient } = require('./db/redis') // 存储实例和订阅实例需要为两个不同的实例
const processor = require('./service/task')
const config = require('./config/index')
const innerDistributedLockKey = '&&__&&' // 内部使用的分布式锁的key的特征值
const innerDistributedLockKeyReg = new RegExp(`^${innerDistributedLockKey}`)

saveClient.on('ready', async () => {
 saveClient.config('SET', 'notify-keyspace-events', 'Ex') // 存储实例设置为推送键过期事件
 console.log('redis init success')
})

subClient.on('ready', () => { // 服务重启后依旧可以初始化所有processor
 subClient.subscribe(`__keyevent@${config.redis.sub.db}__:expired`) // 订阅实例负责订阅消息
 subClient.on('message', async (cahnnel, expiredKey) => {
  // 分布式锁的key不做监听处理
  if (expiredKey.match(innerDistributedLockKeyReg)) return
  // 简易分布式锁,拿到锁的实例消费event
  const cackeKey = `${innerDistributedLockKey}-${expiredKey}`
  const lock = await saveClient.set(cackeKey, 2, 'ex', 5, 'nx') // 这里的用法可以实现简易的分布式锁
  if (lock === 'OK') {
   await saveClient.del(cackeKey)
   for (let key in processor) {
    processor[key](expiredKey) // processor对应的是接收到相关键过期通知后执行的业务逻辑,比如推送短信,然后在相关processor中再次set一个定时过期的key
   }
  }
 })
 console.log('subClient init success')
})
servide/task (processor)
exports.sendMessage = async function sendMessage(expiredKey, subClient) {
 // 只处理相关业务的过期事件
 if (expiredKey.match(/^send_message/)) {
  const [prefix, userId, type] = expiredKey.split('-')
  let user = getUser(userId)
  if (user.phone) {
   push(message) // 伪代码
   resetRedisKey(expiredKey, ttl) // 重新把key设置为一段时间后过期,过期后会再次触发本逻辑
  }
 }
}

总结

  • 此功能利用了redis的键空间通知功能实现了简单了基于用户或者基于不同业务场景的定时任务功能。由于键空间事件通知功能是一个较消耗CPU的操作,所以建议使用单独的DB来处理。
  • 这里展示出来的是基本用法,未考虑定时任务的持久化功能,如果使用过程中redis故障重启,则会导致所有定时任务丢失。如果在redis发布键失效通知时,订阅服务出故障未在线,或者网络问题没有被消费方收到,也会导致此次事件丢失。
  • redis的expired事件并不是在key过期的时候触发,而是在key被删除的时候触发。redis会定期清理过期的key,或者当访问key的时候检查是否过期,只有这时过期的key才会触发删除操作,因此会有一些小的时间差距(个人的实际使用中并没有影响用户体验)。

因此需要权衡使用redis的过期机制实现的定时任务的使用场景。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

相关文章

  • Redis常见限流算法原理及实现

    Redis常见限流算法原理及实现

    这篇文章主要介绍了Redis常见限流算法原理及实现,限流简称流量限速(Rate Limit)是指只允许指定的事件进入系统,超过的部分将被拒绝服务、排队或等待、降级等处理
    2022-08-08
  • redis在php中常用的语法【推荐】

    redis在php中常用的语法【推荐】

    string是redis最基本的类型,而且string类型是二进制安全的。这篇文章主要介绍了redis在php中常用的语法,需要的朋友可以参考下
    2018-08-08
  • 浅析Redis 切片集群的数据倾斜问题

    浅析Redis 切片集群的数据倾斜问题

    如果 Redis 中的部署,采用的是切片集群,数据是会按照一定的规则分散到不同的实例中保存,比如,使用 Redis Cluster 或 Codis,这篇文章主要介绍了Redis 切片集群的数据倾斜分析,需要的朋友可以参考下
    2022-06-06
  • 浅谈Redis处理接口幂等性的两种方案

    浅谈Redis处理接口幂等性的两种方案

    本文主要介绍了浅谈Redis处理接口幂等性的两种方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-08-08
  • Redis分布式限流的几种实现

    Redis分布式限流的几种实现

    分布式限流是指通过将限流策略嵌入到分布式系统中,以控制流量或保护服务,本文就来介绍一下Redis分布式限流的几种实现,感兴趣的可以了解一下
    2023-12-12
  • Linux下redis5.0.5的安装过程与配置方法

    Linux下redis5.0.5的安装过程与配置方法

    这篇文章主要介绍了Linux下redis5.0.5的安装过程与配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • Redis实现分布式队列浅析

    Redis实现分布式队列浅析

    Redis将数据存储在内存中,使得读写速度非常快,经常被用来做缓存系统,这里我们将redis用来做一个分布式的消息队列。这篇文章主要介绍了使用redis来作为消息队列,并且进行分布式主从配置,有需要的朋友可以参考借鉴,下面来一起看看吧。
    2016-11-11
  • Spring Boot整合Redis实现订单超时处理问题

    Spring Boot整合Redis实现订单超时处理问题

    这篇文章主要介绍了Spring Boot整合Redis实现订单超时处理,通过这个基本的示例,你可以了解如何使用Spring Boot和Redis来处理订单超时问题,并根据需要进行扩展和定制,需要的朋友可以参考下
    2023-11-11
  • Redis权限和访问控制的实现示例

    Redis权限和访问控制的实现示例

    Redis提供了一些机制来保护敏感数据和限制对Redis服务器的访问,本文主要介绍了Redis权限和访问控制的实现示例,具有一定的参考价值,感兴趣的可以了解一下
    2023-12-12
  • 关于redis可视化工具读取数据乱码问题

    关于redis可视化工具读取数据乱码问题

    大家来聊一聊在日常操作redis时用的是什么工具,redis提供的一些命令你都了解了吗,今天通过本文给大家介绍redis可视化工具读取数据乱码问题,感兴趣的朋友跟随小编一起看看吧
    2021-07-07

最新评论