基于.net的分布式系统限流组件示例详解

 更新时间:2018年05月17日 11:30:41   作者:凌晨三点半  
这篇文章主要给大家介绍了关于基于.net的分布式系统限流组件的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

在互联网应用中,流量洪峰是常有的事情。在应对流量洪峰时,通用的处理模式一般有排队、限流,这样可以非常直接有效的保护系统,防止系统被打爆。另外,通过限流技术手段,可以让整个系统的运行更加平稳。今天要与大家分享一下限流算法和C#版本的组件。

一、令牌桶算法:

令牌桶算法的基本过程如下:

  • 假如用户配置的平均发送速率为r,则每隔1/r秒速率将一个令牌被加入到桶中;
  • 假设桶最多可以存发b个令牌。当桶中的令牌达到上限后,丢弃令牌。
  • 当一个有请求到达时,首先去令牌桶获取令牌,能够取到,则处理这个请求
  • 如果桶中没有令牌,那么请求排队或者丢弃

工作过程包括3个阶段:产生令牌、消耗令牌和判断数据包是否通过。其中涉及到2个参数:令牌产生的速率和令牌桶的大小,这个过程的具体工作如下。

  • 产生令牌:周期性的以固定速率向令牌桶中增加令牌,桶中的令牌不断增多。如果桶中令牌数已到达上限,则丢弃多余令牌。
  • 消费 令牌:业务程序根据具体业务情况消耗桶中的令牌。消费一次,令牌桶令牌减少一个。
  • 判断是否通过:判断是否已有令牌桶是否存在有效令牌,当桶中的令牌数量可以满足需求时,则继续业务处理,否则将挂起业务,等待令牌。

下面是C#的一个实现方式

class TokenBucketLimitingService: ILimitingService
 {
 private LimitedQueue<object> limitedQueue = null;
 private CancellationTokenSource cancelToken;
 private Task task = null;
 private int maxTPS;
 private int limitSize;
 private object lckObj = new object();
 public TokenBucketLimitingService(int maxTPS, int limitSize)
 {
  this.limitSize = limitSize;
  this.maxTPS = maxTPS;

  if (this.limitSize <= 0)
  this.limitSize = 100;
  if(this.maxTPS <=0)
  this.maxTPS = 1;

  limitedQueue = new LimitedQueue<object>(limitSize);
  for (int i = 0; i < limitSize; i++)
  {
  limitedQueue.Enqueue(new object());
  }
  cancelToken = new CancellationTokenSource();
  task = Task.Factory.StartNew(new Action(TokenProcess), cancelToken.Token);
 }

 /// <summary>
 /// 定时消息令牌
 /// </summary>
 private void TokenProcess()
 {
  int sleep = 1000 / maxTPS;
  if (sleep == 0)
  sleep = 1;

  DateTime start = DateTime.Now;
  while (cancelToken.Token.IsCancellationRequested ==false)
  {
  try
  {
   lock (lckObj)
   {
   limitedQueue.Enqueue(new object());
   }
  }
  catch
  {
  }
  finally
  {
   if (DateTime.Now - start < TimeSpan.FromMilliseconds(sleep))
   {
   int newSleep = sleep - (int)(DateTime.Now - start).TotalMilliseconds;
   if (newSleep > 1)
    Thread.Sleep(newSleep - 1); //做一下时间上的补偿
   }
   start = DateTime.Now;
  }
  }
 }

 public void Dispose()
 {
  cancelToken.Cancel();
 }

 /// <summary>
 /// 请求令牌
 /// </summary>
 /// <returns>true:获取成功,false:获取失败</returns>
 public bool Request()
 {
  if (limitedQueue.Count <= 0)
  return false;
  lock (lckObj)
  {
  if (limitedQueue.Count <= 0)
   return false;

  object data = limitedQueue.Dequeue();
  if (data == null)
   return false;
  }

  return true;
 }
 }
public interface ILimitingService:IDisposable
 {
  /// <summary>
  /// 申请流量处理
  /// </summary>
  /// <returns>true:获取成功,false:获取失败</returns>
  bool Request();
 }
public class LimitingFactory
 {
  /// <summary>
  /// 创建限流服务对象
  /// </summary>
  /// <param name="limitingType">限流模型</param>
  /// <param name="maxQPS">最大QPS</param>
  /// <param name="limitSize">最大可用票据数</param>
  public static ILimitingService Build(LimitingType limitingType = LimitingType.TokenBucket, int maxQPS = 100, int limitSize = 100)
  {
  switch (limitingType)
  {
   case LimitingType.TokenBucket:
   default:
   return new TokenBucketLimitingService(maxQPS, limitSize);
   case LimitingType.LeakageBucket:
   return new LeakageBucketLimitingService(maxQPS, limitSize);
  }
  }
 }

 /// <summary>
 /// 限流模式
 /// </summary>
 public enum LimitingType
 {
  TokenBucket,//令牌桶模式
  LeakageBucket//漏桶模式
 }

public class LimitedQueue<T> : Queue<T>
 {
  private int limit = 0;
  public const string QueueFulled = "TTP-StreamLimiting-1001";

 public int Limit
  {
  get { return limit; }
  set { limit = value; }
  }

 public LimitedQueue()
  : this(0)
  { }

 public LimitedQueue(int limit)
  : base(limit)
  {
  this.Limit = limit;
  }

 public new bool Enqueue(T item)
  {
  if (limit > 0 && this.Count >= this.Limit)
  {
   return false;
  }
  base.Enqueue(item);
  return true;
  }
 }

调用方法:

var service = LimitingFactory.Build(LimitingType.TokenBucket, 500, 200);
while (true)
{
 var result = service.Request();
 //如果返回true,说明可以进行业务处理,否则需要继续等待
 if (result)
 {
  //业务处理......
 }
 else
  Thread.Sleep(1);
}

二、漏桶算法

声明一个固定容量的桶,每接受到一个请求向桶中添加一个令牌,当令牌桶达到上线后请求丢弃或等待,具体算法如下:

  • 创建一个固定容量的漏桶,请求到达时向漏桶添加一个令牌
  • 如果请求添加令牌不成功,请求丢弃或等待
  • 另一个线程以固定的速率消费桶里的令牌

工作过程也包括3个阶段:产生令牌、消耗令牌和判断数据包是否通过。其中涉及到2个参数:令牌自动消费的速率和令牌桶的大小,个过程的具体工作如下。

  • 产生令牌:业务程序根据具体业务情况申请令牌。申请一次,令牌桶令牌加一。如果桶中令牌数已到达上限,则挂起业务后等待令牌。
  • 消费令牌:周期性的以固定速率消费令牌桶中令牌,桶中的令牌不断较少。
  • 判断是否通过:判断是否已有令牌桶是否存在有效令牌,当桶中的令牌数量可以满足需求时,则继续业务处理,否则将挂起业务,等待令牌。

C#的一个实现方式:

class LeakageBucketLimitingService: ILimitingService
  {
   private LimitedQueue<object> limitedQueue = null;
   private CancellationTokenSource cancelToken;
   private Task task = null;
   private int maxTPS;
   private int limitSize;
   private object lckObj = new object();
   public LeakageBucketLimitingService(int maxTPS, int limitSize)
   {
    this.limitSize = limitSize;
    this.maxTPS = maxTPS;

   if (this.limitSize <= 0)
     this.limitSize = 100;
    if (this.maxTPS <= 0)
     this.maxTPS = 1;

   limitedQueue = new LimitedQueue<object>(limitSize);
    cancelToken = new CancellationTokenSource();
    task = Task.Factory.StartNew(new Action(TokenProcess), cancelToken.Token);
   }

  private void TokenProcess()
   {
    int sleep = 1000 / maxTPS;
    if (sleep == 0)
     sleep = 1;

   DateTime start = DateTime.Now;
    while (cancelToken.Token.IsCancellationRequested == false)
    {
     try
     {

     if (limitedQueue.Count > 0)
      {
       lock (lckObj)
       {
        if (limitedQueue.Count > 0)
         limitedQueue.Dequeue();
       }
      }
     }
     catch
     {
     }
     finally
     {
      if (DateTime.Now - start < TimeSpan.FromMilliseconds(sleep))
      {
       int newSleep = sleep - (int)(DateTime.Now - start).TotalMilliseconds;
       if (newSleep > 1)
        Thread.Sleep(newSleep - 1); //做一下时间上的补偿
      }
      start = DateTime.Now;
     }
    }
   }

  public void Dispose()
   {
    cancelToken.Cancel();
   }

  public bool Request()
   {
    if (limitedQueue.Count >= limitSize)
     return false;
    lock (lckObj)
    {
     if (limitedQueue.Count >= limitSize)
      return false;

    return limitedQueue.Enqueue(new object());
    }
   }
  }

调用方法:

var service = LimitingFactory.Build(LimitingType.LeakageBucket, 500, 200);
while (true)
{
  var result = service.Request();
  //如果返回true,说明可以进行业务处理,否则需要继续等待
  if (result)
  {
    //业务处理......
  }
  else
   Thread.Sleep(1);
}

两类限流算法虽然非常相似,但是还是有些区别的,供大家参考!

漏桶算法能够强行限制数据的传输速率。在某些情况下,漏桶算法不能够有效地使用网络资源。因为漏桶的漏出速率是固定的。

令牌桶算法能够在限制数据的平均传输速率的同时还允许某种程度的突发传输.

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • Excel自定义关闭按钮实现代码

    Excel自定义关闭按钮实现代码

    这篇文章主要介绍了Excel自定义关闭按钮实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-12-12
  • 在ASP.Net Web Forms中使用依赖注入的步骤

    在ASP.Net Web Forms中使用依赖注入的步骤

    这篇文章主要介绍了在ASP.Net Web Forms中使用依赖注入的步骤,帮助大家更好的理解和学习使用.NET技术,感兴趣的朋友可以了解下
    2021-03-03
  • ASP.NET2.0中用Gridview控件操作数据的代码

    ASP.NET2.0中用Gridview控件操作数据的代码

    在ASP.NET 2.0中,加入了许多新的功能和控件,相比asp.net 1.0/1.1,在各方面都有了很大的提高
    2012-10-10
  • ABP入门系列之分页功能的实现

    ABP入门系列之分页功能的实现

    本节主要讲解了如何使用ABP进行后台分页,并顺带讲解了ABP后台分页逻辑的实现方式。同时也演示了如何使用X.PagedList进行前端分页
    2017-03-03
  • 适用与firefox ASP.NET无刷新二级联动下拉列表

    适用与firefox ASP.NET无刷新二级联动下拉列表

    适用与firefox ASP.NET无刷新二级联动下拉列表...
    2007-08-08
  • ASP.NET MVC 导出Word报表

    ASP.NET MVC 导出Word报表

    本文主要介绍了ASP.NET MVC 导出Word报表的方法,具有很好的参考价值,下面跟着小编一起来看下吧
    2017-02-02
  • ASP.NET MVC文件上传教程(二)

    ASP.NET MVC文件上传教程(二)

    这篇文章主要为大家详细介绍了ASP.NET MVC文件上传第二篇教程,再次深入了解ASP.NET MVC文件上传的实现原理,感兴趣的小伙伴们可以参考一下
    2016-05-05
  • WPF创建Prism应用程序

    WPF创建Prism应用程序

    这篇文章介绍了WPF创建Prism应用程序的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-02-02
  • Asp.Net数据输出到EXCEL表格中

    Asp.Net数据输出到EXCEL表格中

    其实,利用ASP.NET输出指定内容的WORD、EXCEL、TXT、HTM等类型的文档很容易的。主要分为三步来完成。
    2008-11-11
  • .net core 静态类获取appsettings的方法

    .net core 静态类获取appsettings的方法

    这篇文章主要介绍了.net core 静态类获取appsettings的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06

最新评论