go语言限制协程并发数的方案详情

 更新时间:2022年01月24日 14:39:03   作者:DoubleLi  
一个线程中可以有任意多个协程,但某一时刻只能有一个协程在运行,多个协程分享该线程分配到的计算机资源,接下来通过本文给大家介绍go语言限制协程的并发数的方案详情,感兴趣的朋友一起看看吧

前言

在使用协程并发处理某些任务时, 其并发数量往往因为各种因素的限制不能无限的增大. 例如网络请求、数据库查询等等。从运行效率角度考虑,在相关服务可以负载的前提下(限制最大并发数),尽可能高的并发。本文就这个问题探寻一下解决方案和实现。共两种思路,一是使用带缓冲的通道实现,二是使用锁实现。

一、使用带缓冲的通道限制并发数

1.1方案详情

先上代码如下, 逻辑很简单.

package golimit

type GoLimit struct {
    ch chan int
}
func NewGoLimit(max int) *GoLimit {
    return &GoLimit{ch: make(chan int, max)}
func (g *GoLimit) Add() {
    g.ch <- 1
func (g *GoLimit) Done() {
    <-g.ch

按允许最大并发数创建一个带缓冲的通道, 创建协程之前调用Add()往通道里写一个数据, 协程完成是调用Done()方法读取一个数据. 若无法往通道里写数据时, 表示通道已经写满, 也就是目前的协程并发数为允许的最大数量. Add()方法将被阻塞, 也就无法创建新的协程. 直到有协程运行完成, 调用Done()方法读取了通道了一个数据.

以下是使用示例

package main

import (
    "golimit"
    "log"
    "time"
)
func main() {
    log.Println("开始测试...")
    g := golimit.NewGoLimit(2) //max_num(最大允许并发数)设置为2
    for i := 0; i < 10; i++ {
        //尝试增加一个协程, 若已达到最大并发数,将阻塞
        g.Add()
        go func(g *golimit.GoLimit, i int) {
            defer g.Done() //一个并发协程已经完成
            time.Sleep(time.Second * 2)
            log.Println(i, "done")
        }(g, i)
    }
    log.Println("循环结束")
    time.Sleep(time.Second * 3)//等待执行完成
    log.Println("测试结束")
}

1.2评估总结

优点:此方案的实现逻辑简单明了,易理解、易维护。若能满足需求,在一般的场景下,此方案为首选。

隐忧:使用通道的缓冲区的大小来表示最大可并发数,在允许并发数较大,如几千几万甚至更大的情况下,通道的性能和内存的负载是否会有问题,我不太清楚,若哪位朋友知道请告知一下。

不足:运行中难以调整最大可并发数。而在某些场景下是有这种需求的,如A服务依赖的B服务有扩容或缩减,但A服务不能停止,需要调整请求B服务接口的最大可并发数。二、使用锁实现协程并发数量限制2.1方案详情

同样先上代码(注:此代码我已经在github上开源https://github.com/zh-five/golimit

// 协程并发数限制库
package golimit
import (
    "sync"
)
type GoLimit struct {
    max       uint             //并发最大数量
    count     uint             //当前已有并发数
    isAddLock bool             //是否已锁定增加
    zeroChan  chan interface{} //为0时广播
    addLock   sync.Mutex       //(增加并发数的)锁
    dataLock  sync.Mutex       //(修改数据的)锁
}
func NewGoLimit(max uint) *GoLimit {
    return &GoLimit{max: max, count: 0, isAddLock: false, zeroChan: nil}
}
//并发计数加1.若 计数>=max_num, 则阻塞,直到 计数<max_num
func (g *GoLimit) Add() {
    g.addLock.Lock()
    g.dataLock.Lock()
    g.count += 1
    if g.count < g.max { //未超并发时解锁,后续可以继续增加
        g.addLock.Unlock()
    } else { //已到最大并发数, 不解锁并标记. 等数量减少后解锁
        g.isAddLock = true
    }
    g.dataLock.Unlock()
}
//并发计数减1
//若计数<max_num, 可以使原阻塞的Add()快速解除阻塞
func (g *GoLimit) Done() {
    g.dataLock.Lock()
    g.count -= 1
    //解锁
    if g.isAddLock == true && g.count < g.max {
        g.isAddLock = false
        g.addLock.Unlock()
    }
    //0广播
    if g.count == 0 && g.zeroChan != nil {
        close(g.zeroChan)
        g.zeroChan = nil
    }
    g.dataLock.Unlock()
}
//更新最大并发计数为, 若是调大, 可以使原阻塞的Add()快速解除阻塞
func (g *GoLimit) SetMax(n uint) {
    g.dataLock.Lock()
    g.max = n
    //解锁
    if g.isAddLock == true && g.count < g.max {
        g.isAddLock = false
        g.addLock.Unlock()
    }
    //加锁
    if g.isAddLock == false && g.count >= g.max {
        g.isAddLock = true
        g.addLock.Lock()
    }
    g.dataLock.Unlock()
}
//若当前并发计数为0, 则快速返回; 否则阻塞等待,直到并发计数为0
func (g *GoLimit) WaitZero() {
    g.dataLock.Lock()
    //无需等待
    if g.count == 0 {
        g.dataLock.Unlock()
        return
    }
    //无广播通道, 创建一个
    if g.zeroChan == nil {
        g.zeroChan = make(chan interface{})
    }
    //复制通道后解锁, 避免从nil读数据
    c := g.zeroChan
    g.dataLock.Unlock()
    <-c
}
//获取并发计数
func (g *GoLimit) Count() uint {
    return g.count
}
//获取最大并发计数
func (g *GoLimit) Max() uint {
    return g.max
}

总共使用了两把锁,一把是数据锁(dataLock),用来锁定数据,保证数据修改安全,加锁解锁是在修改数据前后进行的;另一把是增加能否增加协程的锁(addLock),增加协程时必须先加锁,加锁成功后修改并发数,若并发数小于最大可并发数,则解锁,否则不解锁,促使后续增加协程的加锁操作阻塞,从而限制协程的并发数。使用示例如下:

package main
import (
    "github.com/zh-five/golimit"
    "log"
    "time"
)
func main() {
    log.Println("开始测试...")
    g := golimit.NewGoLimit(2) //max_num(最大允许并发数)设置为2
    for i := 0; i < 10; i++ {
        //并发计数加1.若 计数>=max_num, 则阻塞,直到 计数<max_num
        g.Add()
        //运行过程中可以随时修改最大可并发数据
        //g.SetMax(3)
        go func(g *golimit.GoLimit, i int) {
            defer g.Done() //并发计数减1
            time.Sleep(time.Second * 2)
            log.Println(i, "done")
        }(g, i)
    }
    log.Println("循环结束")
    g.WaitZero() //阻塞, 直到所有并发都完成
    log.Println("测试结束")
}

方案2的GoLimit除了增加了SetMax()方法用于修改最大可并发数。出于好玩和偷懒增加了一个WaitZero()方法(其实外部使用sync.WaitGroup也可以快速实现此功能),用于阻塞等待所有并发协程都执行完成。大约可以用于如下场景:有一大批url需要有限制的并发采集数据,主程序里只需要简单的调用一下WaitZero()方法,就可以阻塞等等所有采集的协程完成。

2.2评估总结

  • 优点: 从实现逻辑上说,可以确定性能和消耗不会随着最大可并发数增加而线性增加。另外还有很多可扩展的想象。
  • 缺点:实现逻辑比较复杂

其它

其实我很想对比测试一下两种方案的性能,特别是最大可并发比较大时。但我一直没有找到一种好的测试方法,若哪个朋友有方法或思路,欢迎交流。

到此这篇关于go语言限制协程并发数的方案详情的文章就介绍到这了,更多相关go限制协程并发数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Makefile构建Golang项目示例详解

    Makefile构建Golang项目示例详解

    这篇文章主要为大家介绍了Makefile构建Golang项目的过程示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-07-07
  • go中利用reflect实现json序列化的示例代码

    go中利用reflect实现json序列化的示例代码

    和Java语言一样,Go也实现运行时反射,这为我们提供一种可以在运行时操作任意类型对象的能力,本文给大家介绍了在go中如何利用reflect实现json序列化,需要的朋友可以参考下
    2024-03-03
  • 一文带你掌握Go语言中文件的写入操作

    一文带你掌握Go语言中文件的写入操作

    这篇文章主要和大家分享一下Go语言中文件的写入操作,文中的示例代码讲解详细,对我们学习Go语言有一定的帮助,需要的小伙伴可以参考一下
    2022-12-12
  • 详解Go语言中的数据库操作

    详解Go语言中的数据库操作

    数据库是应用开发中必须要掌握的技巧。这篇文章主要和大家介绍一下Go语言中相关的数据库操作,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下
    2023-02-02
  • Golang之sync.Pool对象池对象重用机制总结

    Golang之sync.Pool对象池对象重用机制总结

    这篇文章主要对Golang的sync.Pool对象池对象重用机制做了一个总结,文中有相关的代码示例和图解,具有一定的参考价值,需要的朋友可以参考下
    2023-07-07
  • Golang并发控制的三种实现方法

    Golang并发控制的三种实现方法

    在Golang中,有多种方式可以进行并发控制,本文详细的介绍了三种实现方法,Channel优点是实现简单,清晰易懂,WaitGroup优点是子协程个数动态可调整,Context 优点是对子协程派生出来的孙子协程的控制,缺点是相对而言的,要结合实例应用场景进行选择
    2023-08-08
  • golang之数据验证validator的实现

    golang之数据验证validator的实现

    这篇文章主要介绍了golang之数据验证validator的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10
  • Golang利用channel协调协程的方法详解

    Golang利用channel协调协程的方法详解

    go 当中的并发编程是通过goroutine来实现的,利用channel(管道)可以在协程之间传递数据,所以本文就来讲讲Golang如何利用channel协调协程吧
    2023-05-05
  • Go语言通过Luhn算法验证信用卡卡号是否有效的方法

    Go语言通过Luhn算法验证信用卡卡号是否有效的方法

    这篇文章主要介绍了Go语言通过Luhn算法验证信用卡卡号是否有效的方法,实例分析了Luhn算法的原理与验证卡号的使用技巧,需要的朋友可以参考下
    2015-03-03
  • goland设置颜色和字体的操作

    goland设置颜色和字体的操作

    这篇文章主要介绍了goland设置颜色和字体的操作方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-05-05

最新评论