Go单元测试对数据库CRUD进行Mock测试

 更新时间:2022年06月21日 16:07:07   作者:李文周  
这篇文章主要为大家介绍了Go单元测试对数据库CRUD进行Mock测试的示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

前言

最近在实践中也总结了一些如何用表格驱动的方式使用 gock Mock测试外部接口调用。以及怎么对GORM做mock测试,这些等这篇学完基础后,后面再单独写文章给大家介绍。

这是Go语言单元测试系列教程的第3篇,介绍了如何使用go-sqlmockminiredis工具进行MySQLRedismock测试。

在上一篇《Go单元测试--模拟服务请求和接口返回》中,我们介绍了如何使用httptest和gock工具进行网络测试。

除了网络依赖之外,我们在开发中也会经常用到各种数据库,比如常见的MySQL和Redis等。本文就分别举例来演示如何在编写单元测试的时候对MySQL和Redis进行mock。

go-sqlmock

sqlmock 是一个实现 sql/driver 的mock库。它不需要建立真正的数据库连接就可以在测试中模拟任何 sql 驱动程序的行为。使用它可以很方便的在编写单元测试的时候mock sql语句的执行结果。

安装

go get github.com/DATA-DOG/go-sqlmock

使用示例

这里使用的是go-sqlmock官方文档中提供的基础示例代码。在下面的代码中,我们实现了一个recordStats函数用来记录用户浏览商品时产生的相关数据。具体实现的功能是在一个事务中进行以下两次SQL操作:

  • 在表中将当前商品的浏览次数+1
  • product_viewers表中记录浏览当前商品的用户id
// app.go
package main
import "database/sql"
// recordStats 记录用户浏览产品信息
func recordStats(db *sql.DB, userID, productID int64) (err error) {
 // 开启事务
 // 操作views和product_viewers两张表
 tx, err := db.Begin()
 if err != nil {
  return
 }
 defer func() {
  switch err {
  case nil:
   err = tx.Commit()
  default:
   tx.Rollback()
  }
 }()
 // 更新products表
 if _, err = tx.Exec("UPDATE products SET views = views + 1"); err != nil {
  return
 }
 // product_viewers表中插入一条数据
 if _, err = tx.Exec(
  "INSERT INTO product_viewers (user_id, product_id) VALUES (?, ?)",
  userID, productID); err != nil {
  return
 }
 return
}
func main() {
 // 注意:测试的过程中并不需要真正的连接
 db, err := sql.Open("mysql", "root@/blog")
 if err != nil {
  panic(err)
 }
 defer db.Close()
 // userID为1的用户浏览了productID为5的产品
 if err = recordStats(db, 1 /*some user id*/, 5 /*some product id*/); err != nil {
  panic(err)
 }
}

现在我们需要为代码中的recordStats函数编写单元测试,但是又不想在测试过程中连接真实的数据库进行测试。这个时候我们就可以像下面示例代码中那样使用sqlmock工具去mock数据库操作。

package main
import (
 "fmt"
 "testing"
 "github.com/DATA-DOG/go-sqlmock"
)
// TestShouldUpdateStats sql执行成功的测试用例
func TestShouldUpdateStats(t *testing.T) {
 // mock一个*sql.DB对象,不需要连接真实的数据库
 db, mock, err := sqlmock.New()
 if err != nil {
  t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
 }
 defer db.Close()
 // mock执行指定SQL语句时的返回结果
 mock.ExpectBegin()
 mock.ExpectExec("UPDATE products").WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectExec("INSERT INTO product_viewers").WithArgs(2, 3).WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectCommit()
 // 将mock的DB对象传入我们的函数中
 if err = recordStats(db, 2, 3); err != nil {
  t.Errorf("error was not expected while updating stats: %s", err)
 }
 // 确保期望的结果都满足
 if err := mock.ExpectationsWereMet(); err != nil {
  t.Errorf("there were unfulfilled expectations: %s", err)
 }
}
// TestShouldRollbackStatUpdatesOnFailure sql执行失败回滚的测试用例
func TestShouldRollbackStatUpdatesOnFailure(t *testing.T) {
 db, mock, err := sqlmock.New()
 if err != nil {
  t.Fatalf("an error '%s' was not expected when opening a stub database connection", err)
 }
 defer db.Close()
 mock.ExpectBegin()
 mock.ExpectExec("UPDATE products").WillReturnResult(sqlmock.NewResult(1, 1))
 mock.ExpectExec("INSERT INTO product_viewers").
  WithArgs(2, 3).
  WillReturnError(fmt.Errorf("some error"))
 mock.ExpectRollback()
 // now we execute our method
 if err = recordStats(db, 2, 3); err == nil {
  t.Errorf("was expecting an error, but there was none")
 }
 // we make sure that all expectations were met
 if err := mock.ExpectationsWereMet(); err != nil {
  t.Errorf("there were unfulfilled expectations: %s", err)
 }
}

上面的代码中,定义了一个执行成功的测试用例和一个执行失败回滚的测试用例,确保我们代码中的每个逻辑分支都能被测试到,提高单元测试覆盖率的同时也保证了代码的健壮性。

执行单元测试,看一下最终的测试结果。

❯ go test -v
=== RUN   TestShouldUpdateStats
--- PASS: TestShouldUpdateStats (0.00s)
=== RUN   TestShouldRollbackStatUpdatesOnFailure
--- PASS: TestShouldRollbackStatUpdatesOnFailure (0.00s)
PASS
ok      golang-unit-test-demo/sqlmock_demo      0.011s

可以看到两个测试用例的结果都符合预期,单元测试通过。

在很多使用ORM工具的场景下,也可以使用go-sqlmock库mock数据库操作进行测试。

miniredis

除了经常用到MySQL外,Redis在日常开发中也会经常用到。接下来的这一小节,我们将一起学习如何在单元测试中mock Redis的相关操作。

miniredis是一个纯go实现的用于单元测试的redis server。它是一个简单易用的、基于内存的redis替代品,它具有真正的TCP接口,你可以把它当成是redis版本的net/http/httptest

当我们为一些包含Redis操作的代码编写单元测试时就可以使用它来mock Redis操作。

安装

go get github.com/alicebob/miniredis/v2

使用示例

这里以github.com/go-redis/redis库为例,编写了一个包含若干Redis操作的DoSomethingWithRedis函数。

// redis_op.go
package miniredis_demo
import (
 "context"
 "github.com/go-redis/redis/v8" // 注意导入版本
 "strings"
 "time"
)
const (
 KeyValidWebsite = "app:valid:website:list"
)
func DoSomethingWithRedis(rdb *redis.Client, key string) bool {
 // 这里可以是对redis操作的一些逻辑
 ctx := context.TODO()
 if !rdb.SIsMember(ctx, KeyValidWebsite, key).Val() {
  return false
 }
 val, err := rdb.Get(ctx, key).Result()
 if err != nil {
  return false
 }
 if !strings.HasPrefix(val, "https://") {
  val = "https://" + val
 }
 // 设置 blog key 五秒过期
 if err := rdb.Set(ctx, "blog", val, 5*time.Second).Err(); err != nil {
  return false
 }
 return true
}

下面的代码是我使用miniredis库为DoSomethingWithRedis函数编写的单元测试代码,其中miniredis不仅支持mock常用的Redis操作,还提供了很多实用的帮助函数,例如检查key的值是否与预期相等的s.CheckGet()和帮助检查key过期时间的s.FastForward()

// redis_op_test.go
package miniredis_demo
import (
 "github.com/alicebob/miniredis/v2"
 "github.com/go-redis/redis/v8"
 "testing"
 "time"
)
func TestDoSomethingWithRedis(t *testing.T) {
 // mock一个redis server
 s, err := miniredis.Run()
 if err != nil {
  panic(err)
 }
 defer s.Close()
 // 准备数据
 s.Set("q1mi", "liwenzhou.com")
 s.SAdd(KeyValidWebsite, "q1mi")
 // 连接mock的redis server
 rdb := redis.NewClient(&redis.Options{
  Addr: s.Addr(), // mock redis server的地址
 })
 // 调用函数
 ok := DoSomethingWithRedis(rdb, "q1mi")
 if !ok {
  t.Fatal()
 }
 // 可以手动检查redis中的值是否复合预期
 if got, err := s.Get("blog"); err != nil || got != "https://liwenzhou.com" {
  t.Fatalf("'blog' has the wrong value")
 }
 // 也可以使用帮助工具检查
 s.CheckGet(t, "blog", "https://liwenzhou.com")
 // 过期检查
 s.FastForward(5 * time.Second) // 快进5秒
 if s.Exists("blog") {
  t.Fatal("'blog' should not have existed anymore")
 }
}

执行执行测试,查看单元测试结果:

❯ go test -v
=== RUN   ;TestDoSomethingWithRedis
--- PASS: TestDoSomethingWithRedis (0.00s)
PASS
ok      golang-unit-test-demo/miniredis_demo    0.052s

miniredis基本上支持绝大多数的Redis命令,大家可以通过查看文档了解更多用法。

当然除了使用miniredis搭建本地redis server这种方法外,还可以使用各种打桩工具对具体方法进行打桩。在编写单元测试时具体使用哪种mock方式还是要根据实际情况来决定。

总结

在日常工作开发中为代码编写单元测试时如何处理数据库的依赖是最常见的问题,本文介绍了如何使用go-sqlmockminiredis工具mock相关依赖。

接下来,我们将更进一步,详细介绍如何在编写单元测试时mock接口实现,更多关于Go数据库CRUD Mock测试的资料请关注脚本之家其它相关文章!

相关文章

  • go doudou开发gRPC服务快速上手实现详解

    go doudou开发gRPC服务快速上手实现详解

    这篇文章主要为大家介绍了go doudou开发gRPC服务快速上手实现过程详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-12-12
  • 详解Golang中Context的三个常见应用场景

    详解Golang中Context的三个常见应用场景

    Golang context主要用于定义超时取消,取消后续操作,在不同操作中传递值。本文通过简单易懂的示例进行说明,感兴趣的可以了解一下
    2022-12-12
  • Go语言并发控制之sync.WaitGroup使用详解

    Go语言并发控制之sync.WaitGroup使用详解

    这篇文章主要为大家详细介绍了Go语言并发控制中sync.Map的原理与使用,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-02-02
  • Go语言中三种不同md5计算方式的性能比较

    Go语言中三种不同md5计算方式的性能比较

    md5计算在我们日常工作的时候经常能遇到,下面这篇文章主要介绍了Go语言中三种不同md5计算方式的性能比较,需要的朋友可以参考借鉴,下面来一起学习学习吧。
    2017-01-01
  • Go 内联优化让程序员爱不释手

    Go 内联优化让程序员爱不释手

    这篇文章主要介绍了Go 内联优化让程序员爱不释手,内联是在编译过程中自动进行的一类基本优化之一,文章围绕主题展开更多详细介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-06-06
  • Go处理PDF的实现代码

    Go处理PDF的实现代码

    这篇文章主要介绍了Go处理PDF的实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • Go语言使用templ实现编写HTML用户界面

    Go语言使用templ实现编写HTML用户界面

    templ是一个在 Go 中编写 HTML 用户界面的语言,使用 templ,我们可以创建可呈现 HTML 片段的组件,下面就跟随小编一起了解一下具体的实现方法吧
    2023-12-12
  • go 实现简易端口扫描的示例

    go 实现简易端口扫描的示例

    该功能实现原理很简单,就是发送socket连接(IP+端口),如果能连接成功,说明目标主机开放了某端口。当要大量扫描端口时,就需要写并发编程了。
    2021-05-05
  • 详解golang中的method

    详解golang中的method

    这篇文章主要介绍了golang中的method的相关资料,帮助大家更好的理解和使用golang,感兴趣的朋友可以了解下
    2021-01-01
  • 深入浅出Golang中select的实现原理

    深入浅出Golang中select的实现原理

    在go语言中,select语句就是用来监听和channel有关的IO操作,当IO操作发生时,触发相应的case操作,有了select语句,可以实现main主线程与goroutine线程之间的互动。本文就来详细讲讲select的实现原理,需要的可以参考一下
    2022-08-08

最新评论