脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Redis → redis jemalloc和tcmalloc

浅谈redis采用不同内存分配器tcmalloc和jemalloc

 更新时间：2016年12月20日 10:08:47   投稿：jingxian  
下面小编就为大家带来一篇浅谈redis采用不同内存分配器tcmalloc和jemalloc。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

在Redis的 zmalloc.c 源码中，我们可以看到如下代码：

/* Double expansion needed for stringification of macro values. */ 
#define __xstr(s) __str(s) 
#define __str(s) #s 
#if defined(USE_TCMALLOC) 
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR)) 
#include <google/tcmalloc.h> 
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1) 
#define HAVE_MALLOC_SIZE 1 
#define zmalloc_size(p) tc_malloc_size(p) 
#else 
#error "Newer version of tcmalloc required" 
#endif 
#elif defined(USE_JEMALLOC) 
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX)) 
#include <jemalloc/jemalloc.h> 
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2) 
#define HAVE_MALLOC_SIZE 1 
#define zmalloc_size(p) je_malloc_usable_size(p) 
#else 
#error "Newer version of jemalloc required" 
#endif 
#elif defined(__APPLE__) 
#include <malloc/malloc.h> 
#define HAVE_MALLOC_SIZE 1 
#define zmalloc_size(p) malloc_size(p) 
#endif 
#ifndef ZMALLOC_LIB 
#define ZMALLOC_LIB "libc" 
#endif

从上面的代码中我们可以看到，Redis在编译时，会先判断是否使用tcmalloc，如果是，会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得，最后如果都没有使用才会用标准的libc中的内存管理函数。

而在最新的2.4.4版本中，jemalloc已经作为源码包的一部分包含在源码包中，所以可以直接被使用。而如果你要使用tcmalloc的话，是需要自己安装的。

下面简单说一下如何安装tcmalloc包，tcmalloc是google-proftools中的一部分，所以我们实际上需要安装google-proftools。如果你是在64位机器上进行安装，需要先安装其依赖的libunwind库。

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz tar zxvf libunwind-0.99-alpha.tar.gz cd libunwind-0.99-alpha/ CFLAGS=-fPIC ./configure make CFLAGS=-fPIC make CFLAGS=-fPIC install

然后再进行google-preftools的安装：

wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz tar zxvf google-perftools-1.8.1.tar.gz cd google-perftools-1.8.1/ ./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal make && make install sudo echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf #如果没有这个文件，自己建一个 sudo /sbin/ldconfig

然后再进行Redis的安装，在make时指定相应的参数以启用tcmalloc

$ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz $ tar xzvf redis-2.4.4.tar.gz $ cd redis-2.4.4 $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes $ sudo make install

再启动Redis后通过info命令就能看到使用的内存分配器了。

下面回到本文的主题，对于tcmalloc，jemalloc和libc对应的三个内存分配器。其性能和碎片率如何呢？

下面是一个简单测试结果，使用Redis自带的redis-benchmark写入等量数据进行测试，数据摘自采用不同分配器时Redis info信息。

我们可以看到，采用tcmalloc时碎片率是最低的，为1.01，jemalloc为1.02，而libc的分配器碎片率为1.31，如下所未：

used_memory:708391440 used_menory_human:675.57M used_memory_rss:715169792 used_memory_peak:708814040 used_memory_peak_human:675.98M mem_fragmentation_ratio:1.01mem_allocator:tcmalloc-1.7

used_memory:708381168 used_menory_human:675.56M used_memory_rss:723587072 used_memory_peak:708803768 used_memory_peak_human:675.97M mem_fragmentation_ratio:1.02mem_allocator:jemalloc-2.2.1

used_memory:869000400 used_menory_human:828.74M used_memory_rss:1136689152 used_memory_peak:868992208 used_memory_peak_human:828.74M mem_fragmentation_ratio:1.31mem_allocator:libc

上面的测试数据都是小数据，也就是说单条数据并不大，下面我们尝试设置benchmark的-d参数，将value值调整为1k大小，测试结果发生了一些变化：

used_memory:830573680 used_memory_human:792.10M used_memory_rss:849068032 used_memory_peak:831436048 used_memory_peak_human:792.92M mem_fragmentation_ratio:1.02mem_allocator:tcmalloc-1.7

used_memory:915911024 used_memory_human:873.48M used_memory_rss:927047680 used_memory_peak:916773392 used_memory_peak_human:874.30M mem_fragmentation_ratio:1.01mem_allocator:jemalloc-2.2.1

used_memory:771963304 used_memory_human:736.20M used_memory_rss:800583680 used_memory_peak:772784056 used_memory_peak_human:736.98M mem_fragmentation_ratio:1.04mem_allocator:libc

可以看出，在分配大块内存和小块内存上，几种分配器的碎片率差距还是比较大的，大家在使用Redis的时候，还是尽量用自己真实的数据去做测试，以选择最适合自己数据的分配器。

以上就是小编为大家带来的浅谈redis采用不同内存分配器tcmalloc和jemalloc全部内容了，希望大家多多支持脚本之家~

您可能感兴趣的文章:

相关文章

  • Redis中Zset类型常用命令的实现

    Redis中Zset类型常用命令的实现

    Zset是Redis的一种有序集合数据类型,Zset通过压缩列表和跳跃表两种底层编码方式支持小数据集和大数据集,支持多种操作,包括添加、查询、删除元素以及集合运算等,具有不同的时间复杂度,感兴趣的可以了解一下
    2024-10-10
  • Redis核心原理与实践之字符串实现原理

    Redis核心原理与实践之字符串实现原理

    这本书深入地分析了Redis常用特性的内部机制与实现方式，内容源自对Redis源码的分析，并从中总结出设计思路、实现原理。对Redis字符串实现原理相关知识感兴趣的朋友一起看看吧
    2021-09-09
  • 宝塔中ThinkPHP框架使用Redis的一系列教程

    宝塔中ThinkPHP框架使用Redis的一系列教程

    关于redis的安装，在服务器或者虚拟机上安装宝塔面板安装redis，这样很简单就可以使用redis了，记得安装redis的时候不仅要安装redis软件，还要进入项目使用的php版本中安装redis扩展，然后开启redis软件
    2023-03-03
  • redis缓存穿透解决方法

    redis缓存穿透解决方法

    在本篇文章里小编给大家分享了关于redis缓存穿透的解决方法以及相关实例内容，需要的朋友们学习下。
    2019-06-06
  • Redis优化token校验主动失效的实现方案

    Redis优化token校验主动失效的实现方案

    在普通的token颁发和校验中 当用户发现自己账号和密码被暴露了时修改了登录密码后旧的token仍然可以通过系统校验直至token到达失效时间,所以系统需要token主动失效的一种能力,所以本文给大家介绍了Redis优化token校验主动失效的实现方案,需要的朋友可以参考下
    2024-03-03
  • Redis数据备份与恢复方式的五种方式

    Redis数据备份与恢复方式的五种方式

    本文主要介绍了Redis数据备份与恢复方式,包含了五种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-07-07
  • Redis高可用部署架构的实现

    Redis高可用部署架构的实现

    本文主要介绍了Redis高可用部署架构的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-08-08
  • redis基本安装判断、启动使用方法示例

    redis基本安装判断、启动使用方法示例

    这篇文章主要介绍了redis基本安装判断、启动使用方法,结合实例形式分析了Redis针对是否安装的判断、启动等使用方法,需要的朋友可以参考下
    2020-02-02
  • Redis教程(十一)：虚拟内存介绍

    Redis教程(十一)：虚拟内存介绍

    这篇文章主要介绍了Redis教程(十一)：虚拟内存介绍,本文讲解了虚拟内存简介、应用场景和配置方法等内容,需要的朋友可以参考下
    2015-04-04
  • windows平台安装部署Redis

    windows平台安装部署Redis

    Redis是一个开源、跨平台的数据库,因此Redis数据库可以运行在Windows、Linux、Mac OS和BSD等多个平台上,本文主要介绍了windows平台安装部署Redis,具有一定的参考价值,感兴趣的可以了解一下
    2023-10-10

最新评论