Go使用缓存加速外部资源访问提高性能效率

 更新时间:2023年10月17日 11:27:43   作者:俞凡  
缓存是架构设计中的常用概念,本文基于Go实现了一个简单的缓存组件,支持最基本的缓存操作,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

 翻译自原文: Implementing Cache With Go

概念简介

缓存是计算机科学中的一个重要概念。设想某个组件需要访问外部资源,它向外部源请求资源,接收并使用资源,这些步骤都需要花费时间。当组件再次需要资源时,可以再次请求资源,但这种方式从时间上考虑是比较低效的。相反,组件可以将请求结果保存在本地某处,然后再次使用,使用本地数据总是比请求外部数据要快,这一策略就是缓存的基本概念。我们可以在内存、CPU缓存和服务器缓存(如Redis)中找到这些例子。

不同用例

Web服务中的缓存用于减少数据请求的延迟。Web服务保存第一次查询的执行结果,然后在需要的时候再次使用,而不用再次访问数据库。取决于数据的特性,缓存有不同情况,可以有相对静态的数据,如统计数据、计算结果,也有可能是经常变化的数据,如评论区或SNS。

最好的情况是缓存那些很少变化的数据。以月度统计数据为例,上个月的数据将不会变化,如果对它进行缓存,可能就不需要查询数据库获取上个月的数据了。

对于快速变化的数据,在存在多个服务器时最好谨慎些。看看上面的设计,以评论区服务为例,考虑如下场景,用户A发表了一些评论,然后A决定删除评论,用户B尝试回复评论。在某些情况下,A和B向不同的服务器发送请求。A的删除操作可能不会传播到B的服务器缓存。结果会是这样: 缓存A和缓存B有不同的数据,数据库不知道哪个才是真实的,数据的完整性被破坏了。

在这种情况下,可以使用单一外部缓存(如上图所示),多个服务器只访问统一的缓存。

限制条件

缓存比数据库要快,但在大小上要小得多。这是因为数据库将数据存储在驱动器中,缓存将数据存储在内存中。它们遵循各自相同的特征,同样也有不同的特点,如果主机停止工作,缓存的所有数据都会丢失,但数据库的数据不会丢失。

由于缓存位于内存中,空间是有限的,需要选择缓存哪些数据。在CS课上,我们会听到LRU(Least Recently Used,最近最少使用),LFU(Least Frequently Used,最不常用)和FIFO(First In First Out,先入先出)这样的词,这些是"选择哪一个"的标准,被称为驱逐策略(eviction policy)。

设计&实现

需求

  • 键值存储(Key-Value Storage): 缓存既要有输入键、输出值的读功能,也要有输入键、值的写功能。这些函数应该在平均O(logN)时间内完成,其中N是键的数量。
  • LRU驱逐策略: 由于缓存空间有限,如果缓存满了,一些数据应该被清除,选择用LRU算法实现。
  • TTL (Time To Live): 每个键值都有生存时间,如果TTL到期,该键值应该被驱逐。

API设计

键值存储的意思是,如果请求键,缓存会返回那些存在的键的值,类似于hash-map抽象数据类型,以提供以下API概念的应用程序为例:

func Get(key string) (hit bool, value []byte)
func Put(key string, value []byte) (hit bool)
  • Get: 通过键读取值的API。如果所提供的键在缓存中存在,则返回等效值。如果不存在,则返回hit=false。对于LRU策略,键将被标记为最近被使用,从而使该键不会被驱逐。
  • Put: 通过键写入值的API。如果所提供的键存在,则value将被替换为新值。如果不存在,将创建新的键值存储。因为该函数可以添加数据,其执行可能会导致溢出。在这种情况下,根据LRU策略,最近最少使用的键值将被清除。新添加/修改的键将被标记为最近使用的键。

数据结构

我们使用两种不同的数据结构: hash-map和双向链表,实现键值读写和LRU策略的特性。

  • Hash-map: Hash-map是使用最广泛的键值数据结构,在Go中是现成的数据类型,可以通过map[<type>]<type>定义。
  • 双向链表: LRU缓存可以通过双向链表实现。

基于这两种数据结构可以同时提供键值特性和LRU策略。参考以上设计概念图,hash-map的键将是字符串键,值是指向链表节点的指针,节点将保存键的值。

如果用户调用Get(),缓存应用程序将在hash-map中搜索键,跟随指针到达链表中的一个节点,获取值,完成LRU策略,并将值返回给用户。

类似的,如果调用Put(),会在hash-map中搜索键,跟踪指针并替换值,完成LRU策略,或者向hash-map中插入新键,并向链表中插入新节点。

并发控制

由于缓存被设计为支持频繁访问,因此在同一时间会有多个访问,并且总是存在并发问题的可能性。

在该设计中,存在两种不同的数据结构,并且并不总是同步的。在执行过程中,hash-map的修改和链表的修改之间有一个微小的时间间隔,请看下面的例子。

  • 该问题的触发条件为: 当前缓存已满,最近最少使用的键为1。这意味着,如果添加了新的键,键1和等效的值将被清除。
  • 用户A使用新键101调用Put()。hash-map检查键,发现101不存在,决定清除1并将101添加到缓存中。
  • 同时,用户B使用键1调用Put()。hash-map确认键1存在,并决定修改该值。
  • A的调用继续执行,从链表中删除节点1,从hash-map中删除键1。
  • 紧接着,B的调用试图访问节点1的地址,并发现该地址已不存在,从而发生panic并造成应用失效。

防止这种情况发生的最简单方法是使用互斥(Mutex) ,参考以下代码。

func (s *CStorage) Get(key string) (data []byte, hit bool) {
  s.mutex.Lock()
  defer s.mutex.Unlock()
  n, ok := s.table[key]
  if !ok {
    return nil, false
  }
  if n.ttl.Before(time.Now()) {
    s.evict(n)
    s.size--
    return nil, false
  }
  return n.data, true
}

这段代码是Get()的函数定义,可以看到在第一行中有互斥锁代码,在第二行中有defer的互斥锁解锁代码(defer是Go关键字,将行执行推迟到函数的末尾)。这些代码应用于所有其他数据存储访问功能,如Put、Delete、Clear等。

通过使用互斥锁,每次执行都不会受到其他操作的影响,保证了数据访问的安全性。

生存时间(Time To Live)

目前TTL是采用被动方式实现的,这意味着如果执行了数据访问函数(Get, Put),它将检查TTL是否过期并决定是否删除。这也意味着即使节点已经过期,将仍然存在于数据结构中。

这种方法不需要消耗大量CPU时间来定期遍历所有节点,但是缓存很可能会保存过期的值。

大多数情况下,这么做没有问题,因为过期节点很可能是"最近最少使用"状态。但是,如果有函数通过数据结构清除过期节点就更好了,所以我们使用RemoveExpired()函数。

func (s *CStorage) RemoveExpired() int64 {
  var count int64 = 0
  for key, value := range s.table {
    if value.ttl.Before(time.Now()) {
      s.Delete(key)
      count++
    }
  }
  return count
}

此函数将被定期调用以清除所有过期节点。

结果

实现的Go包可以导入其他Go项目。另外,我还做了独立的缓存应用程序,提供gRPC API,细节可以查看这个存储库

结论

这是个很好的重新审视缓存概念的机会,并且我们用Go实现了缓存。缓存是降低组件延迟的好工具,虽然空间受限,但速度更快。

实现实际的缓存模块可以用hash-map和双向链表完成。并发问题有点棘手,所以不得不使用互斥锁。此外,我们混合了被动和主动方式来删除过期数据。

以上就是Go使用缓存加速外部资源访问提高性能效率的详细内容,更多关于Go缓存加速访问的资料请关注脚本之家其它相关文章!

相关文章

  • go 原子操作的方式及实现原理全面深入解析

    go 原子操作的方式及实现原理全面深入解析

    这篇文章主要为大家介绍了go 原子操作的方式及实现原理深入解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • Golang如何使用go.mod配置加载本地模块

    Golang如何使用go.mod配置加载本地模块

    这篇文章主要介绍了Golang如何使用go.mod配置加载本地模块问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • golang 实用库gotable的具体使用

    golang 实用库gotable的具体使用

    使用gotable框架以实现在CLI命令行界面中打印表格。本文就介绍一下golang 实用库gotable的使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-07-07
  • Golang使用ttl机制保存内存数据方法详解

    Golang使用ttl机制保存内存数据方法详解

    ttl(time-to-live) 数据存活时间,我们这里指数据在内存中保存一段时间,超过期限则不能被读取到,与Redis的ttl机制类似。本文仅实现ttl部分,不考虑序列化和反序列化
    2023-03-03
  • Go+Kafka实现延迟消息的实现示例

    Go+Kafka实现延迟消息的实现示例

    本文主要介绍了Go+Kafka实现延迟消息的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • golang 语言中错误处理机制

    golang 语言中错误处理机制

    Golang 的错误处理方式可能和这些你熟悉的语言有所不同,今天通过本文给大家分享golang 语言中错误处理机制,感兴趣的朋友一起看看吧
    2021-08-08
  • golang中切片copy复制和等号复制的区别介绍

    golang中切片copy复制和等号复制的区别介绍

    这篇文章主要介绍了golang中切片copy复制和等号复制的区别,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • golang中struct和[]byte的相互转换示例

    golang中struct和[]byte的相互转换示例

    这篇文章主要介绍了golang中struct和[]byte的相互转换示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-07-07
  • Go语言轻量级高性能嵌入式规则引擎RuleGo使用详解

    Go语言轻量级高性能嵌入式规则引擎RuleGo使用详解

    这篇文章主要为大家介绍了Go语言轻量级高性能嵌入式规则引擎RuleGo使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • Go动态调用函数的实例教程

    Go动态调用函数的实例教程

    本文主要介绍了Go动态调用函数的实例教程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01

最新评论