使用go连接clickhouse方式
前言
近段时间业务在一个局点测试clickhouse，用java写的代码在环境上一直连接不上clickhouse服务，报错信息也比较奇怪，No client available，研发查了一段时间没查出来，让运维这边继续查：
运维同学查了各种监听配置，防火墙这些，都没什么问题，但是没有明确证据能够提供证明通过http方式能访问到数据库，时间拖得比较久，项目上就急了，让尽快找到问题，所以就用go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。
正文
先安装必要的库，clickhouse官方提供了2个版本的库，v1和v2，v1版本已经明确不会继续更新了，所以用新不用旧哈，可以用官方库的方式或者用dsn的方式，这个我下面一起说，安装库的命令：
go get github.com/ClickHouse/clickhouse-go/v2
构造结构体
编写结构体，存放基本信息：
type Clickhouse struct {
Host string // 服务端主机
Port int // 端口
DB string // 数据库
User string // 用户名
Password string // 密码
Connection *sql.DB // 建立连接后存放连接
Rows *sql.Rows // 运行sql后的结果存放
}
Connection主要是用来建立连接后把相关信息存放，这样方便继续调用其他的方法，因为我的主要目的是测试数据库能否连通和运行Sql，所以这里Rows用来存放测试的select语句的结果。
参数读取
这块没什么好说的，连接的参数直接从命令行读取，用flag包就好：
var (
host = flag.String("host", "localhost", "clickhouse host")
port = flag.Int("port", 8123, "clickhouse port")
user = flag.String("user", "default", "clichouse user")
pass = flag.String("password", "", "clickhouse password")
db = flag.String("db", "default", "clickhouse database")
query = flag.String("query", "show tables", "query you will run")
mode = flag.String("mode", "driver", "driver or dsn")
)
前面几个参数不用解释，主要是query和mode，query是要运行的sql语句，我们默认就认为跑的是select语句，然后是mode，允许选择模式，用户可以使用driver或者dsn两种模式进行连接，我写了两个不同的方法，其实也可以在一个Connect方法里做判断，看个人习惯；
建立连接
接下来我们建立数据库连接：
//
func (c *Clickhouse) Conn() {
c.Connection = clickhouse.OpenDB(&clickhouse.Options{
Addr: []string{fmt.Sprintf("%s:%d", c.Host, c.Port)},
Auth: clickhouse.Auth{
Database: c.DB,
Username: c.User,
Password: c.Password,
},
Settings: clickhouse.Settings{
"max_execution_time": 60,
},
DialTimeout: 5 * time.Second,
Compression: &clickhouse.Compression{
Method: clickhouse.CompressionBrotli,
Level: 5,
},
// 必须添加协议方式
Protocol: clickhouse.HTTP,
})
}
func (c *Clickhouse) ConnDsn() {
conn, err := sql.Open("clickhouse", fmt.Sprintf("http://%s:%d/%s?username=%s&password=%s", c.Host, c.Port, c.DB, c.User, c.Password))
if err != nil {
log.Printf("Connect to the server failed, %s.\n", err.Error())
return
}
c.Connection = conn
}
参考官网的实例，实现两种连接方式，关闭方法就直接把sql.DB和sql.Rows都关闭就可以了：
func (c *Clickhouse) Close() {
c.Connection.Close()
c.Rows.Close()
}
发起查询
查询使用Query方法进行：
func (c *Clickhouse) Select(query string) {
rows, err := c.Connection.Query(query)
if err != nil {
log.Printf("Query select failed, %s.\n", err.Error())
return
}
c.Rows = rows
}
查询的结果我保存到Rows里，方便后面的解析
结果解析
比较麻烦的就是结果的解析了，用过database/sql库的哥们都知道，这个库只提供了基础的一些接口，查询出来一般用Scan去获取数据，用法类似这样：
问题就在于，Scan要指定和sql查询出来一样多的变量，对于我们这个小工具来说，sql是不一定的，所以查询出来的字段数量肯定yes不定的，如何动态处理这个问题，肯定是不能直接写一个结构体解决的，先看我的代码：
func (c *Clickhouse) Show() {
cols, err := c.Rows.Columns()
if err != nil {
log.Printf("Failed to get table columns, %s.\n", err.Error())
return
}
// 一行数据，使用any是为了避开数据类型的问题
var rows = make([]any, len(cols))
// 存实际的值，是byte数组，长度以列的数量为准
var values = make([][]byte, len(cols))
for i := 0; i < len(cols); i++ {
rows[i] = &values[i]
}
// 打印表头
fmt.Println(strings.Join(cols, ","))
for c.Rows.Next() {
if err = c.Rows.Scan(rows...); err != nil {
fmt.Println(err)
return
}
var vString []string
for _, v := range values {
vString = append(vString, string(v))
}
// 逐行打印出来
fmt.Println(strings.Join(vString, ","))
}
}
大概思路是这样：
- Scan需要传入每个用来绑定单行数据值的变量，所以values是实际存储数据的byte数组，然后把数组的每个元素的地址再存入到rows数组中；
- 现在可以用rows[index]这样的方式来访问values中的值了，把rows直接作为入参传入到Scan，在每次循环中，把values的值转成逗号分割的字符串，直接打印
结果验证
OK，现在逻辑完成了，我们运行测试一下，
go run main.go -host hostname -password paswword -query "select * from clusters" -db system -mode dsn
只查询2个字段，2行数据：
结语
完成，然后把工具放到生产环境一测试，查询都正常，这下开发哥们要继续查他的程序问题了
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Viper是一个轻量级的、易于使用的配置工具库,它允许你在Go应用中方便地管理配置,Viper支持从多种来源读取配置,如环境变量、命令行参数、文件、甚至是加密的数据存储,本文给大家介绍了golang使用viper解析配置文件,需要的朋友可以参考下2024-08-08
内联优化是一种常见的编译器优化策略，通俗来讲，就是把函数在它被调用的地方展开，这样可以减少函数调用所带来的开销，本文主要为大家介绍了Go中内联优化的具体使用，需要的可以参考下2023-05-05
这篇文章主要为大家整理了Go语言中的time库，包括时间、日期和时区等相关概念及使用方法，希望通过掌握这些知识，大家可以更好地处理时间、日期和时区相关的问题2023-08-08
这篇文章主要给大家介绍了关于Go map定义的方式及修改技巧，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
本文主要介绍了Go语言实现广播式并发聊天服务器,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-08-08
最近写一个程序,接口返回的数据是js格式的,需要通过golang来解析js,所以下面这篇文章主要给大家介绍了关于如何在Golang中运行JavaScript的相关资料,需要的朋友可以参考下2022-01-01
这篇文章主要介绍了Go语言循环遍历含有中文的字符串的几种方法，文章通过代码示例讲解的非常详细，具有一定的参考价值，感兴趣的小伙伴跟着小编一起来看看吧2023-07-07
这篇文章主要为大家介绍了从错误中学习改正Go语言五个坏习惯提高编程技巧示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-05-05
这篇文章主要为大家详细介绍了Golang中的HTTP编程以及源码解析，文中的示例代码讲解详细，具有一定的借鉴价值，感兴趣的可以了解一下2023-02-02
Golang实现RabbitMQ中死信队列几种情况
本文主要介绍了Golang实现RabbitMQ中死信队列几种情况，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
最新评论