脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Redis → Redis性能提升之Batch批量读写

Redis性能大幅提升之Batch批量读写详解

 更新时间：2017年06月04日 16:08:34   作者：649727360  
这篇文章主要给大家介绍了关于Redis性能大幅提升之Batch批量读写的相关资料，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面来跟着小编一起来学习学习吧。

前言

本文主要介绍的是关于Redis性能提升之Batch批量读写的相关内容，分享出来供大家参考学习，下面来看看详细的介绍：

提示：本文针对的是StackExchange.Redis

一、问题呈现

前段时间在开发的时候，遇到了redis批量读的问题，由于在StackExchange.Redis里面我确实没有找到PipeLine命令，找到的是Batch命令，因此对其用法进行了探究一下。

下面的代码是我之前写的：

public List<StudentEntity> Get(List<int> ids)
{
  List<StudentEntity> result = new List<StudentEntity>();
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   foreach (int id in ids.Keys)
   {
    string key = KeyManager.GetKey(id);
    var dic = db.HashGetAll(key).ToDictionary(k => k.Name, v => v.Value);
    StudentEntity se = new StudentEntity();
    if (dic.Keys.Contains(StudentEntityRedisHashKey.id.ToString()))
    {
     pe.id = FormatUtils.ConvertToInt32(dic[StudentEntityRedisHashKey.id.ToString()], -1);
    }
    if (dic.Keys.Contains(StudentEntityRedisHashKey.name.ToString()))
    {
     pe.name= dic[StudentEntityRedisHashKey.name.ToString()];
    }
    result.Add(se);
   }
   catch (Exception ex)
   {
   }
   return result;
}

从上面的代码中可以看出，并不是批量读，经过性能测试，性能确实是要远远低于用Batch操作，因为HashGetAll方法被执行了多次。

下面给出批量方法：

二、解决问题方法

具体的用法是：

var batch = db.CreateBatch();

...//这里写具体批量操作的方法

batch.Execute();

2.1批量写：

具体代码：

public bool InsertBatch(List<StudentEntity> seList)
{
  bool result = false;
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   var batch = db.CreateBatch();
   foreach (var se in seList)
   {
    string key = KeyManager.GetKey(se.id);
    batch.HashSetAsync(key, StudentEntityRedisHashKey.id.ToString(), te.id);
    batch.HashSetAsync(key, StudentEntityRedisHashKey.name.ToString(), te.name);
   }
   batch.Execute();
   result = true;
  }
  catch (Exception ex)
  {
  }
  return result;
}

这个方法里执行的是批量插入学生实体数据，这里只是针对Hash，其它的也一样操作。 

2.2批量读：

具体代码：

public List<StudentEntity> GetBatch(List<int> ids)
{
  List<StudentEntity> result = new List<StudentEntity>();
  List<Task<StackExchange.Redis.HashEntry[]>> valueList = new List<Task<StackExchange.Redis.HashEntry[]>>();
  try
  {
   var db = RedisCluster.conn.GetDatabase();
   var batch = db.CreateBatch();
   foreach(int id in ids)
   {
    string key = KeyManager.GetKey(id);
    Task<StackExchange.Redis.HashEntry[]> tres = batch.HashGetAllAsync(key);
    valueList.Add(tres);
   }
   batch.Execute();

   foreach(var hashEntry in valueList)
   {
    var dic = hashEntry.Result.ToDictionary(k => k.Name, v => v.Value);
    StudentEntity se= new StudentEntity();
    if (dic.Keys.Contains(StudentEntityRedisHashKey.id.ToString()))
    {
     se.id= FormatUtils.ConvertToInt32(dic[StudentEntityRedisHashKey.id.ToString()], -1);
    }
    if (dic.Keys.Contains(StudentEntityRedisHashKey.name.ToString()))
    {
     se.name= dic[StudentEntityRedisHashKey.name.ToString()];
    }
    result.Add(se);
   }
  }
  catch (Exception ex)
  {
  }
  return result;
}

这个方法是批量读取学生实体数据，批量拿到实体数据后，将其转化成我们需要的数据。下面给出性能对比。

2.3性能对比：

10条数据，约4-5倍差距:

   

1000条数据，约28倍的差距：

 

随着数据了增多，差距将越来越大。

三、源码测试案例 

上面是批量读写实体数据，下面给出StackExchange.Redis源码测试案例里的批量读写写法：

public void TestBatchSent()
  {
   using (var muxer = Config.GetUnsecuredConnection())
   {
    var conn = muxer.GetDatabase(0);
    conn.KeyDeleteAsync("batch");
    conn.StringSetAsync("batch", "batch-sent");
    var tasks = new List<Task>();
    var batch = conn.CreateBatch();
    tasks.Add(batch.KeyDeleteAsync("batch"));
    tasks.Add(batch.SetAddAsync("batch", "a"));
    tasks.Add(batch.SetAddAsync("batch", "b"));
    tasks.Add(batch.SetAddAsync("batch", "c"));
    batch.Execute();
    
    var result = conn.SetMembersAsync("batch");
    tasks.Add(result);
    Task.WhenAll(tasks.ToArray());
    
    var arr = result.Result;
    Array.Sort(arr, (x, y) => string.Compare(x, y));
    ...
   }
  }

这个方法里也给出了批量写和读的操作。

总结

好了，先说到这里了。以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

相关文章

  • Redis中哈希分布不均匀的解决办法

    Redis中哈希分布不均匀的解决办法

    这篇文章主要介绍了Redis中哈希分布不均匀的解决办法的相关资料,需要的朋友可以参考下
    2021-02-02
  • redis分布式Jedis类型转换的异常深入研究

    redis分布式Jedis类型转换的异常深入研究

    这篇文章主要介绍了redis分布式Jedis类型转换的异常深入研究，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-03-03
  • Redis中主键失效的原理及实现机制剖析

    Redis中主键失效的原理及实现机制剖析

    这篇文章主要介绍了Redis中主键失效的原理及实现机制剖析,本文讲解了失效时间的控制、失效的内部实现、Memcached 删除失效主键的方法与 Redis 有何异同、Redis 的主键失效机制会不会影响系统性能等内容,需要的朋友可以参考下
    2015-06-06
  • Redis+AOP+自定义注解实现限流

    Redis+AOP+自定义注解实现限流

    这篇文章主要为大家详细介绍了如何利用Redis+AOP+自定义注解实现个小功能：自定义拦截器限制访问次数，也就是限流，感兴趣的可以了解一下
    2022-06-06
  • Redis RDB技术底层原理详解

    Redis RDB技术底层原理详解

    为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中以某种形式同步到硬盘中，这一过程就是持久化，本文重点给大家介绍Redis RDB技术底层原理实现方法，一起看看吧
    2021-09-09
  • Redis 设置密码无效问题解决

    Redis 设置密码无效问题解决

    本文主要介绍了Redis 设置密码无效问题解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 基于Redis实现抽奖功能及问题小结

    基于Redis实现抽奖功能及问题小结

    这篇文章主要介绍了基于Redis实现抽奖功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2021-08-08
  • Redis的setNX分布式锁超时时间失效 -1问题及解决

    Redis的setNX分布式锁超时时间失效 -1问题及解决

    这篇文章主要介绍了Redis的setNX分布式锁超时时间失效 -1问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-01-01
  • 解析Redis Cluster原理

    解析Redis Cluster原理

    redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也有一个问题，就是不能动态扩充；所以在3.x提出cluster集群模式
    2021-06-06
  • Redis Sentinel实现哨兵模式搭建小结

    Redis Sentinel实现哨兵模式搭建小结

    这篇文章主要介绍了Redis Sentinel实现哨兵模式搭建小结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12

最新评论