go doudou开发gRPC服务快速上手实现详解
引言
go-doudou从v2版本开始已经支持开发gRPC服务。开发流程跟v1版本是一致的，都是先在svc.go文件里的interface里定义方法，然后执行go-doudou代码生成命令生成代码，最后你再写自定义业务逻辑实现接口。go-doudou的学习曲线非常平滑，对新手极其友好，特别是具有其他编程语言开发背景的开发者，比如从Java、Nodejs或是Python转过来的。go-doudou非常易学，但是却能带来极高的生产力。
本文中我将通过一个小demo来向各位同学展示开发流程是什么样的，同时也提供了一些最佳实践。我们将采用go-doudou开发一个通过最大余额法算法解决计算占比不等于100%的问题的gRPC服务，然后通过测试看一下效果。
完整代码托管在github：github.com/unionj-clou…
准备
安装go
go-doudou仅支持go 1.16及以上版本。
安装gRPC编译器和插件
安装编译器protoc
安装Protobuf编译器protoc，可参考官方文档，这里贴一下常见操作系统下的安装命令：
- Ubuntu系统:
$ apt install -y protobuf-compiler $ protoc --version # 确保安装v3及以上版本
Mac系统，需要先安装Homebrew:
$ brew install protobuf $ protoc --version # 确保安装v3及以上版本
Windows系统，或者Mac系统安装Homebrew失败，需从github下载安装包，解压后，自行配置环境变量。
安装插件
- 安装插件:
$ go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28 $ go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2
- 配置环境变量:
$ export PATH="$PATH:$(go env GOPATH)/bin"
最新版本号请跳转 grpc.io/docs/langua… 查找。
安装go-doudou
- 如果Go版本低于1.17
go get -v github.com/unionj-cloud/go-doudou/v2@v2.0.3
- 如果Go版本 >= 1.17，推荐采用如下命令全局安装
go-doudou命令行工具
go install -v github.com/unionj-cloud/go-doudou/v2@v2.0.3
推荐采用如下命令下载go-doudou作为项目的依赖
go get -v -d github.com/unionj-cloud/go-doudou/v2@v2.0.3
如果遇到410 Gone error报错，请先执行如下命令，再执行上述的安装命令
export GOSUMDB=off
安装完成后，如果遇到go-doudou: command not found报错，请将$HOME/go/bin配置到~/.bash_profile文件里，例如：
# .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:/usr/local/go/bin PATH=$PATH:$HOME/go/bin export PATH
我们可以执行以下命令确认一下安装是否成功：
➜ go-doudou -v go-doudou version v2.0.3
初始化项目
做完准备工作我们就可以开始coding了。首先我们需要初始化项目。
go-doudou svc init go-stats -m go-doudou-tutorials/go-stats
go-stats是项目的根路径，go-doudou会逐层创建文件夹，底层类似执行unix命令mkdir -p 。-m 可以设置模块名，这里是go-doudou-tutorials/go-stats
go-doudou会生成以下的项目结构。
➜ go-stats git:(master) ✗ tree -L 2
.
├── Dockerfile
├── go.mod
├── svc.go
└── vo
└── vo.go
1 directory, 4 files
svc.go文件里已经声明了一个接口，用于定义方法，go-doudou会通过这些方法提供的信息来生成proto文件里的rpc代码。vo包是用来定义go语言结构体的，go-doudou会扫描整个包里声明的所有结构体来生成proto文件里的message代码。
定义服务
下面我们来看一下svc.go文件。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
type GoStats interface {
// You can define your service methods as your need. Below is an example.
// You can also add annotations here like @role(admin) to add meta data to routes for
// implementing your own middlewares
PageUsers(ctx context.Context, query vo.PageQuery) (data vo.PageRet, err error)
}
有两个//go:generate 指令，12行和13行分别是用来生成RESTful和gRPC服务代码的，主要是为了方便执行代码生成命令。如果你用goland的话，你可以像下面的截图所示那样操作界面执行命令。
PageUsers是一个示例，我们删掉它写上我们的方法。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/vo"
)
//go:generate go-doudou svc http -c
//go:generate go-doudou svc grpc
// GoStats is a demo gRPC service developed by go-doudou
type GoStats interface {
// LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error)
}
我们还需要在vo包里声明PercentageReqVo和PercentageRespVo这两个vo结构体。需要注意的是，GoStats接口的方法里出现的结构体类型参数必须声明在vo包里，否则go-doudou获取不到字段信息，就无法在proto文件里生成对应的message。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package vo
//go:generate go-doudou name --file $GOFILE
// request vo
type PercentageReqVo struct {
// key value pairs
Data []PercentageVo `json:"data"`
// digit number after dot
Places int `json:"places"`
}
// key value pair
type PercentageVo struct {
// number for something
Value int `json:"value"`
// unique key for distinguishing something
Key string `json:"key"`
}
// result vo
type PercentageRespVo struct {
Value int `json:"value"`
Key string `json:"key"`
Percent float64 `json:"percent"`
// formatted percentage
PercentFormatted string `json:"percentFormatted"`
}
第7行的go-doudou name 命令是go-doudou内置的一个小工具，可以一把生成或更新结构体字段后面的json标签，默认是首字母小写的驼峰命名格式。
生成代码
现在我们可以执行go-doudou svc grpc 命令生成proto文件和gRPC相关的服务端、客户端代码了。执行命令后的项目结构如下所示：
➜ go-stats git:(master) ✗ tree -L 3 -a
.
├── .dockerignore
├── .env
├── .gitignore
├── Dockerfile
├── cmd
│ └── main.go
├── config
│ └── config.go
├── db
│ └── db.go
├── go.mod
├── svc.go
├── svcimpl.go
├── transport
│ └── grpc
│ ├── annotation.go
│ ├── gostats.pb.go
│ ├── gostats.proto
│ └── gostats_grpc.pb.go
└── vo
└── vo.go
13 directories, 16 files
go-doudou为我们生成了一些新的文件夹和文件。
.dockerignore : 用于打包docker镜像的时候忽略**/*.local文件
.env : 配置文件
cmd : 里面有main.go文件
config : 用于将环境变量映射到config结构体
db : 用于建立数据库连接实例，我们这个demo用不到
svcimpl.go : 用于编写自定义的业务逻辑，实现GoStats接口
transport : proto文件和gRPC相关的服务端、客户端代码在这里
在我们实现接口之前，需要执行 go mod tidy 命令来下载依赖。然后我们启动程序，先看一下是否一切正常。
➜ go-stats git:(master) ✗ go run cmd/main.go
2022/11/23 11:07:45 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
_ _
| | | |
__ _ ___ ______ __| | ___ _ _ __| | ___ _ _
/ _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) | | (_| || (_) || |_| || (_| || (_) || |_| |
__, | ___/ __,_| ___/ __,_| __,_| ___/ __,_|
__/ |
|___/
2022-11-23 11:07:45 INF ================ Registered Services ================
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF | SERVICE | RPC |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 11:07:45 INF | go_stats.GoStatsService | LargestRemainderRpc |
2022-11-23 11:07:45 INF +------------------------------------------+----------------------+
2022-11-23 11:07:45 INF ===================================================
2022-11-23 11:07:45 INF Grpc server is listening at [::]:50051
2022-11-23 11:07:45 INF Grpc server started in 1.110168ms
go-doudou依赖了 go.uber.org/automaxprocs 这个包来根据我们给容器做的资源限制来设置处理器P的数量，所以会有第2行的日志输出。
我们再看一下transport/grpc/gostats.proto文件。
/**
* Generated by go-doudou v2.0.3.
* Don't edit!
*
* Version No.: v20221123
*/
syntax = "proto3";
package go_stats;
option go_package = "go-doudou-tutorials/go-stats/transport/grpc";
message LargestRemainderRpcResponse {
repeated PercentageRespVo data = 1 [json_name="data"];
}
// request vo
message PercentageReqVo {
// key value pairs
repeated PercentageVo data = 1 [json_name="data"];
// digit number after dot
int32 places = 2 [json_name="places"];
}
// result vo
message PercentageRespVo {
int32 value = 1 [json_name="value"];
string key = 2 [json_name="key"];
double percent = 3 [json_name="percent"];
// formatted percentage
string percentFormatted = 4 [json_name="percentFormatted"];
}
// key value pair
message PercentageVo {
// number for something
int32 value = 1 [json_name="value"];
// unique key for distinguishing something
string key = 2 [json_name="key"];
}
service GoStatsService {
// LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method
rpc LargestRemainderRpc(PercentageReqVo) returns (LargestRemainderRpcResponse);
}
如代码所示，所有message里的字段名称都是首字母小写的驼峰命名。其实Protobuf官方给出的规范是下划线分隔单词的蛇形命名。因为我们vo包里的结构体的字段的json标签是首字母小写的驼峰命名，所以我们这里为了保持一致，就没有遵循规范。保持一致的作用是我们后面如果需要将protoc生成的结构体转成vo包里的结构体的时候，可以直接用json序列化反序列化的方式做深拷贝，而无需手工一个个字段去赋值。如果你担心这个办法的性能开销而选择其他办法的话，就无所谓了。
go-doudou在生成proto文件的时候会将方法出参中的除error类型之外的其他类型参数都封装到一个单独的message中，如这里的LargestRemainderRpcResponse。
go-doudou只支持Protobuf v3。
实现接口
下面我们在svcimpl.go文件中编写我们的业务代码。先看一下现在的代码。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/config"
pb "go-doudou-tutorials/go-stats/transport/grpc"
)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
pb.UnimplementedGoStatsServiceServer
conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
//TODO implement me
panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
return &GoStatsImpl{
conf: conf,
}
}
第13行将*GoStatsImpl类型的nil赋值给pb.GoStatsServiceServer接口类型的_的作用是确保指针类型的GoStatsImpl结构体实例始终都实现pb.GoStatsServiceServer接口。相当于一种约束。
我们可以根据实际需求往GoStatsImpl结构体里声明任何字段来存放各种资源，比如外部服务的客户端，数据库连接，任意的队列或者池等等。这里有一个包级别的工厂方法NewGoStats用来注入各种依赖，创建一个指针类型的GoStatsImpl结构体实例。
接下来我们实现LargestRemainderRpc方法。因为go-doudou不支持grpc-gateway和grpc-web等RESTful转gRPC的转发器，如果需要在一套程序同时支持RESTful服务和gRPC服务，go-doudou提供的解决方案是分别绑定两个端口，启动http服务器和gRPC服务器，复用一套业务逻辑代码，所以如果考虑后期可能需要加上RESTful支持的话，推荐不要直接实现pb.GoStatsServiceServer接口，而是先实现GoStats接口，然后再调用GoStats接口的实现方法去实现pb.GoStatsServiceServer接口。这样就实现了业务逻辑代码的复用。
我个人倾向于不管现在和以后是否需要支持RESTful，都先执行 go-doudou svc http -c 命令生成RESTful相关代码。
现在的项目结构是这样的：
➜ go-stats git:(master) ✗ tree -L 3
.
├── Dockerfile
├── client
│ ├── client.go
│ ├── clientproxy.go
│ └── iclient.go
├── cmd
│ └── main.go
├── config
│ └── config.go
├── db
│ └── db.go
├── go.mod
├── go.sum
├── gostats_openapi3.go
├── gostats_openapi3.json
├── svc.go
├── svcimpl.go
├── transport
│ ├── grpc
│ │ ├── annotation.go
│ │ ├── gostats.pb.go
│ │ ├── gostats.proto
│ │ └── gostats_grpc.pb.go
│ └── httpsrv
│ ├── handler.go
│ ├── handlerimpl.go
│ └── middleware.go
└── vo
└── vo.go
8 directories, 21 files
httpsrv包里是http路由以及http请求解析和返回数据序列化相关的代码。我们可以删掉也可以先留着。我们看一下svcimpl.go文件有什么变化。
/**
* Generated by go-doudou v2.0.3.
* You can edit it as your need.
*/
package service
import (
"context"
"go-doudou-tutorials/go-stats/config"
pb "go-doudou-tutorials/go-stats/transport/grpc"
"go-doudou-tutorials/go-stats/vo"
"github.com/brianvoe/gofakeit/v6"
)
var _ GoStats = (*GoStatsImpl)(nil)
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)
type GoStatsImpl struct {
pb.UnimplementedGoStatsServiceServer
conf *config.Config
}
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
//TODO implement me
panic("implement me")
}
func NewGoStats(conf *config.Config) *GoStatsImpl {
return &GoStatsImpl{
conf: conf,
}
}
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
var _result struct {
Data []vo.PercentageRespVo
}
_ = gofakeit.Struct(&_result)
return _result.Data, nil
}
第17行和第3642行是新生成的代码。第17行的作用是确保指针类型的GoStatsImpl始终实现GoStats接口。第3642行是需要我们实现的打桩代码。
下面我们编写业务逻辑代码：
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) {
if len(payload.Data) == 0 {
return
}
input := make([]numberutils.Percentage, 0)
for _, item := range payload.Data {
input = append(input, numberutils.Percentage{
Value: item.Value,
Data: item.Key,
})
}
numberutils.LargestRemainder(input, int32(payload.Places))
for _, item := range input {
data = append(data, vo.PercentageRespVo{
Value: item.Value,
Key: item.Data.(string),
Percent: item.Percent,
PercentFormatted: item.PercentFormatted,
})
}
return
}
go-doudou在 github.com/unionj-cloud/go-doudou/v2/toolkit/numberutils 包里提供了一个工具函数LargestRemainder。此处略过具体的算法实现。
现在我们可以通过复用LargestRemainder方法里的代码实现LargestRemainderRpc方法。
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) {
var payload vo.PercentageReqVo
copier.DeepCopy(request, &payload)
data, err := receiver.LargestRemainder(ctx, payload)
if err != nil {
return nil, err
}
var ret pb.LargestRemainderRpcResponse
err = copier.DeepCopy(data, &ret.Data)
if err != nil {
return nil, err
}
return &ret, nil
}
我们无需手工编写pb.PercentageReqVo转vo.PercentageReqVo和[]vo.PercentageRespVo转[]*pb.PercentageRespVo的代码，直接用 github.com/unionj-cloud/go-doudou/v2/toolkit/copier 包里的DeepCopy函数做深拷贝即可。
测试服务
因为我们生成了新的代码，导入了新的依赖，所以我们需要再执行一下 go mod tidy 。然后我们启动服务，测试一下效果。
➜ go-stats git:(master) ✗ go mod tidy && go run cmd/main.go
2022/11/23 13:18:13 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined
_ _
| | | |
__ _ ___ ______ __| | ___ _ _ __| | ___ _ _
/ _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | |
| (_| || (_) | | (_| || (_) || |_| || (_| || (_) || |_| |
__, | ___/ __,_| ___/ __,_| __,_| ___/ __,_|
__/ |
|___/
2022-11-23 13:18:13 INF ================ Registered Services ================
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF | SERVICE | RPC |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF | go_stats.GoStatsService | LargestRemainderRpc |
2022-11-23 13:18:13 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |
2022-11-23 13:18:13 INF +------------------------------------------+----------------------+
2022-11-23 13:18:13 INF ===================================================
2022-11-23 13:18:13 INF Grpc server is listening at [::]:50051
2022-11-23 13:18:13 INF Grpc server started in 1.001238ms
我个人倾向于采用 evans 去帮助测试和调试gRPC服务。
➜ go-stats git:(master) ✗ evans -r repl -p 50051
______
| ____|
| |__ __ __ __ _ _ __ ___
| __| \ \ / / / _. | | '_ \ / __|
| |____ \ V / | (_| | | | | | __ \
|______| _/ __,_| |_| |_| |___/
more expressive universal gRPC client
go_stats.GoStatsService@127.0.0.1:50051> show service
+----------------+---------------------+-----------------+-----------------------------+
| SERVICE | RPC | REQUEST TYPE | RESPONSE TYPE |
+----------------+---------------------+-----------------+-----------------------------+
| GoStatsService | LargestRemainderRpc | PercentageReqVo | LargestRemainderRpcResponse |
+----------------+---------------------+-----------------+-----------------------------+
go_stats.GoStatsService@127.0.0.1:50051> service GoStatsService
go_stats.GoStatsService@127.0.0.1:50051> call LargestRemainderRpc
<repeated> data::value (TYPE_INT32) => 20
<repeated> data::key (TYPE_STRING) => apple
<repeated> data::value (TYPE_INT32) => 30
<repeated> data::key (TYPE_STRING) => banana
<repeated> data::value (TYPE_INT32) => 40
<repeated> data::key (TYPE_STRING) => pear
<repeated> data::value (TYPE_INT32) =>
places (TYPE_INT32) => 2
{
"data": [ { "key": "apple", "percent": 22.22, "percentFormatted": "22.22%", "value": 20 }, { "key": "banana", "percent": 33.33, "percentFormatted": "33.33%", "value": 30 }, { "key": "pear", "percent": 44.45, "percentFormatted": "44.45%", "value": 40 } ]
}
我们输入apple 20kg，banana 30kg，pear 40kg和保留2位小数，然后得到了我们期望的结果：22.22 + 33.33 + 44.45 = 100。
总结
本文我们学到了采用go-doudou微服务框架开发gRPC服务的基本技能，同时我们需要知道go-doudou不仅可以帮助开发者轻松地开发gRPC服务，它还包含了一套完善的服务治理方案帮助开发者打造完整的微服务系统。go-doudou虽然开源时间不长，但是非常有发展潜力，希望越来越多的开发者可以加入进来，更多关于go doudou开发gRPC服务的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要给大家介绍了关于golang bufio包中Write方法的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-02-02
这篇文章主要介绍了go 如何修改postgresql的配置参数,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-01-01
内存泄漏是编程中常见的问题,会对程序的性能和稳定性产生严重影响,本文将深入详解 Golang 中的内存泄漏的原因、检测方法以及避免方法,希望对大家有所帮助2023-12-12
项目开发过程中，随着需求的迭代，代码的发布会频繁进行，在发布过程中，Golang如何让程序做到优雅的退出？本文就来详细为大家讲讲2022-06-06
这篇文章主要为大家详细介绍了如何使用 go-acme/lego 的客户端或库完成证书的自动签发,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-03-03
最近写一个程序,接口返回的数据是js格式的,需要通过golang来解析js,所以下面这篇文章主要给大家介绍了关于如何在Golang中运行JavaScript的相关资料,需要的朋友可以参考下2022-01-01
在Go语言中,变量的初始化是编写程序时经常遇到的重要操作之一,本文主要介绍了Go语言变量初始化的实现示例,具有一定的参考价值,感兴趣的可以了解一下2024-04-04
Golang 实现 Redis系列(六)如何实现 pipeline 模式的 redis 客户端
pipeline 模式的 redis 客户端需要有两个后台协程负责 tcp 通信，调用方通过 channel 向后台协程发送指令，并阻塞等待直到收到响应，本文是使用 golang 实现 redis 系列的第六篇， 将介绍如何实现一个 Pipeline 模式的 Redis 客户端。2021-07-07
这篇文章主要为大家介绍了Go开发Gin项目中添加jwt功能实例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
本文主要介绍了golang实现多协程下载文件，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-11-11
最新评论