Python 注解方式实现缓存数据详解

更新时间：2021年10月19日 14:35:22 作者：liuxing93619

这篇文章主要介绍了Python 注解方式实现缓存数,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

背景

每次加载数据都要重新Load，想通过加入的注解方式开发缓存机制，每次缓存不用写代码了

缺点：目前仅支持一个返回值，虽然能弄成字典，但是已经满足个人需求，没动力改(狗头)。

拿来即用

新建文件 Cache.py

class Cache:
    def __init__(self, cache_path='.', nocache=False):
        self.cache_path = cache_path
        self.cache = not nocache
    def __call__(self, func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            s = f'{func.__code__.co_filename}.{func.__name__}'
            s += ','.join(list(args[1:]) + [f'{k}={v}' for k, v in kwargs.items()])
            md5 = hashlib.md5()
            md5.update(s.encode('utf-8'))
            cache_file = f'{self.cache_path}/{md5.hexdigest()}'
            if self.cache and os.path.exists(cache_file):
                print('Loading from cache')
                return pickle.load(open(cache_file, 'rb'))
            else:
                if not os.path.exists(self.cache_path):
                    os.makedirs(self.cache_path)
                data = func(*args, **kwargs)
                pickle.dump(data, file=open(cache_file, 'wb'))
                print(f'Dump finished {cache_file}')
            return data
        return wrapper

from .Cache import Cache
@Cache(root_path, nocache=True)
def load_data(self, inpath):
    return 'Wula~a~a~!'

实践过程

第一次，来个简单的继承父类

class Cache(object):
    def __init__(self, cache_path=None):
        self.cache_path = cache_path if cache_path else '.'
        self.cache_path = f'{self.cache_path}/cache'
        self.data = self.load_cache()
    def load_cache(self):
        if os.path.exists(self.cache_path):
            print('Loading from cache')
            return pickle.load(open(self.cache_path, 'rb'))
        else:
            return None
    def save_cache(self):
        pickle.dump(self.data, file=open(self.cache_path, 'wb'))
        print(f'Dump finished {self.cache_path}')
class Filter4Analyzer(Cache):
    def __init__(self, rootpath, datapath):
        super().__init__(rootpath)
        self.root_path = rootpath
        if self.data is None:
            self.data = self.load_data(datapath)
            self.save_cache()

只要继承Cache类就可以啦，但是有很多局限，例如只能指定某个参数被cache，例如还得在Filter4Analyzer里面写保存的代码。

下一步，python嵌套装饰器来改善这个问题

from functools import wraps
import hashlib
def cached(cache_path):
    def wrapperper(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            s = f'{func.__code__.co_filename}.{func.__name__}' + ','.join(args[1:])
            s += ','.join(list(args[1:]) + [f'{k}={v}' for k, v in kwargs.items()])
            md5 = hashlib.md5()
            md5.update(s.encode('utf-8'))
            cache_file = f'{cache_path}/{md5.hexdigest()}' if cache_path else './cache'
            if os.path.exists(cache_file):
                print('Loading from cache')
                return pickle.load(open(cache_file, 'rb'))
            else:
                if not os.path.exists(cache_path):
                    os.makedirs(cache_path)
                data = func(*args, **kwargs)
                pickle.dump(data, file=open(cache_file, 'wb'))
                print(f'Dump finished {cache_file}')
            return data
        return wrapper
    return wrapperper
class Tester:
    @cached(cache_path='./workpath_test')
    def test(self, data_path):
        return ['hiahia']

通过装饰器类简化代码

class Cache:
    def __init__(self, cache_path='.', nocache=False):
        self.cache_path = cache_path
        self.cache = not nocache
    def __call__(self, func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            s = f'{func.__code__.co_filename}.{func.__name__}'
            s += ','.join(list(args[1:]) + [f'{k}={v}' for k, v in kwargs.items()])
            md5 = hashlib.md5()
            md5.update(s.encode('utf-8'))
            cache_file = f'{self.cache_path}/{md5.hexdigest()}'
            if self.cache and os.path.exists(cache_file):
                print('Loading from cache')
                return pickle.load(open(cache_file, 'rb'))
            else:
                if not os.path.exists(self.cache_path):
                    os.makedirs(self.cache_path)
                data = func(*args, **kwargs)
                pickle.dump(data, file=open(cache_file, 'wb'))
                print(f'Dump finished {cache_file}')
            return data
        return wrapper

参考：

Python 函数装饰器

Python函数属性和PyCodeObject

总结

本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容！

您可能感兴趣的文章:

Python常见沙箱技术与沙箱逃逸避免方法详解
Python沙箱可以帮助你在安全的环境中运行不受信任的代码,本文将探讨 Python 沙箱的概念、常见的沙箱技术以及如何避免沙箱逃逸,感兴趣的可以了解下
2024-01-01
python3 实现在运行的时候隐藏命令窗口
这篇文章主要介绍了python3 实现在运行的时候隐藏命令窗口方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2021-05-05
Python 窗体(tkinter)按钮位置实例
今天小编就为大家分享一篇Python 窗体(tkinter)按钮位置实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-06-06
python函数式编程学习之yield表达式形式详解
这篇文章主要给大家介绍了关于python函数式编程学习之yield表达式形式的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面随着小编来一起看看吧。
2018-03-03
CentOS安装pillow报错的解决方法
本文给大家分享的是作者在centos下为Python安装pillow的时候报错的解决方法，希望对大家能够有所帮助。
2016-01-01
Python class的继承方法代码实例
这篇文章主要介绍了Python class的继承方法代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-02-02
python 调用js的四种方式
这篇文章主要介绍了python 调用js的四种方式，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下
2021-04-04
Python排序算法之堆排序算法
堆排序看字面意思是一种排序方法，那堆是什么呢？堆是一个近似完全二叉树的结构，并同时满足堆积的性质。其实堆排序是指利用堆这种数据结构所设计的一种排序算法。
2023-01-01
python结合selenium获取XX省交通违章数据的实现思路及代码
这篇文章主要介绍了python结合selenium获取XX省交通违章数据的实现思路及代码方法的相关资料
2016-06-06
在Python中操作文件之read()方法的使用教程
这篇文章主要介绍了在Python中操作文件之read()方法的使用教程,是Python入门学习中的基础知识,需要的朋友可以参考下
2015-05-05