python3使用python-redis-lock解决并发计算问题

 更新时间:2021年10月29日 09:20:01   作者:海洋的渔夫  
本文主要介绍了python3使用python-redis-lock解决并发计算问题,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

需求

我在最近的一个任务中,存在一个redis高并发计算多个客户端接收预警信息的时长问题。

模型是首先模拟多个客户端连接预警服务器集群,然后向预警服务集群发送告警信息。随后预警服务集群将会向客户端推送告警信息。

此时,我记录了发送告警至预警集群的时间,并且在客户端还会记录接收到告警的时间。

我将这个时间都会记录到redis中,那么此时就会有一个问题,当多个客户端抢占式往redis 读取数据,计算,设置数据,这个过程是会被相互覆盖的。

13423234-740656156c7b55ea.png

可以从上面的截图来看,多个不同的客户端读取redis的数据,大部分读取到了同一个数据,导致计算错误。

导致问题的示意图如下:

13423234-1fe4018d81e208cb.png

为了解决这个问题,则可以编写一个redis的锁,用来控制数据的并发读取以及写入。
在python redis库默认只有乐观锁的一种写法,在这里我再推荐使用一个库python-redis-lock,使用这个库对redis多个客户端并发的情况加锁,真的很方便。
下面来看看怎么使用。

python-redis-lock

https://pypi.org/project/python-redis-lock/

在使用这个库之前,需要安装如下:

pip install python-redis-lock

使用锁的示例:

lock = redis_lock.Lock(conn, "name-of-the-lock")
if lock.acquire(blocking=False):
    print("Got the lock.")
    lock.release()
else:
    print("Someone else has the lock.")

上面是单独设置锁的方式,还可以单独设置所有redis的操作加入锁。

# On application start/restart
import redis_lock
redis_lock.reset_all(redis_client)

修改业务代码,增加lock操作

1. 首先导入redis_lock

import redis_lock

2.将redis连接的客户端传入lock中,并设置lock的名称

# 设置redis连接
self.conn = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True, db=3)
 
# 设置redis锁
self.lock = redis_lock.Lock(self.conn, "redis-lock")

3.将业务读取、设置redis的部分加入锁

while True:
    # 设置redis锁,操作redis
    if self.lock.acquire(blocking=False):
        print("Got the lock.")
        # 获取lock,执行业务处理
        # 获取当前redis钟记录的客户端接收到告警的总时长
        recv_time_sum_count_clients = self.conn.get(recv_time_sum_count_clients_key)
        if recv_time_sum_count_clients is None:
            recv_time_sum_count_clients = "0:0"
 
        # 获取当前的统计数据
        recv_time_sum, count_clients = recv_time_sum_count_clients.split(":")
 
        # 计算告警接收总时长
        recv_time_sum = float(recv_time_sum) + recv_time
        # 计算收到预警的客户端数量
        count_clients = int(count_clients) + 1
 
        # 写入redis中
        recv_time_sum_count_clients = "%s:%s" % (str(recv_time_sum), str(count_clients))
        self.conn.set(recv_time_sum_count_clients_key, recv_time_sum_count_clients)
 
        print("user_id = %s, 计算平均时间成功, "
              "recv_time_sum = %s, count_clients = %s \n" %
              (self.user_id, recv_time_sum, count_clients))
 
        # 释放lock
        self.lock.release()
 
        # 退出循环
        break
    else:
        print("Someone else has the lock.")            

在客户端的代码中设置了锁之后,再来执行一下,看看有无抢占读取redis数据的情况,如下:

13423234-9050e8b9bca5abd7.png

设置了锁之后,客户端由于并发导致redis数据读取、设置错误的情况就可以避免了。

并且这个库还可以使用到Django框架中,更多细节读者可以到该库Github中细细查阅,本篇章就不介绍了,哈哈。

到此这篇关于python3使用python-redis-lock解决并发计算问题的文章就介绍到这了,更多相关python-redis-lock 并发内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python测试模块doctest使用解析

    Python测试模块doctest使用解析

    这篇文章主要介绍了Python测试模块doctest使用解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Android 兼容性问题:java.lang.UnsupportedOperationException解决办法

    Android 兼容性问题:java.lang.UnsupportedOperationException解决办法

    这篇文章主要介绍了Android 兼容性问题:java.lang.UnsupportedOperationException解决办法的相关资料,需要的朋友可以参考下
    2017-03-03
  • python TF-IDF算法实现文本关键词提取

    python TF-IDF算法实现文本关键词提取

    这篇文章主要为大家详细介绍了python TF-IDF算法实现文本关键词提取,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05
  • python3定位并识别图片验证码实现自动登录功能

    python3定位并识别图片验证码实现自动登录功能

    这篇文章主要介绍了python3定位并识别图片验证码实现自动登录功能,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • django 外键model的互相读取方法

    django 外键model的互相读取方法

    今天小编就为大家分享一篇django 外键model的互相读取方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python绘图之turtle库的基础语法使用

    Python绘图之turtle库的基础语法使用

    这篇文章主要给大家介绍了关于Python绘图之turtle库的基础语法使用的相关资料, Turtle库是Python语言中一个很流行的绘制图像的函数库,再绘图的时候经常需要用到的一个库需要的朋友可以参考下
    2021-06-06
  • 用Python的Django框架完成视频处理任务的教程

    用Python的Django框架完成视频处理任务的教程

    这篇文章主要介绍了用Python的Django框架完成视频处理任务的教程,包括用户的视频上传和播放以及下载功能的实现,需要的朋友可以参考下
    2015-04-04
  • 在pycharm中为项目导入anacodna环境的操作方法

    在pycharm中为项目导入anacodna环境的操作方法

    这篇文章主要介绍了在pycharm中为项目导入anacodna环境的操作方法,本文图文并茂通过实例详解的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-02-02
  • django redis的使用方法详解

    django redis的使用方法详解

    本文主要介绍了django redis的使用方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • Python实现视频分帧的方法分享

    Python实现视频分帧的方法分享

    这篇文章主要为大家详细介绍了如何通过Python语言实现视频分帧的功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起尝试一下
    2023-03-03

最新评论