Go语言kylin任务自动化实例详解

 更新时间:2022年06月08日 16:35:07   作者:爱吃红薯粉  
这篇文章主要为大家介绍了Go语言kylin任务自动化实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

前言

kylin是一个开源的OLAP分析引擎,具有亚秒级查询大表的能力

通过kylin提供的cube预构建功能,省去了不断写sql查询hive的麻烦,强化了任务统一管理和结果快速呈现的效果

kylin官网: https://kylin.apache.org/cn/

任务

当kylin集群比较大,和有多个kylin集群时,说明cube也越来越多,几百上千个cube便是常用便饭了

这些任务的运行就成了难题,人工去界面上点点点完全不实现了。此时就需要做成自动化周期性的任务

因为官方没有提供Go的客户端,只提供了http的api请求。下列例子使用Go中的http包来实现自动化任务

自动化实现

初始化

使用第三方http包(HttpRequest)来做http相关的请求,该包支持GET,POST,DELETE,PUT等四种请求方法,正好完全满足请求kylin的要求

var (
   url = "http://ip:7070/kylin/"
   username = "ADMIN"
   password = "Password"
   req *HttpRequest.Request
)
func init() {
   req = HttpRequest.NewRequest().Debug(false).SetTimeout(time.Second*5).
      SetHeaders(map[string]string{
         "Content-Type": "application/json;charset=utf-8",
      }).SetBasicAuth(username, password)
}

cube提交build

该方法接收三个参数,需要构建的cube名称,以及开始时间戳和结束时间戳

调用示例:

cubeBuild("dwd_jd_order","1637193600000","1637280000000")

时间戳获取方法,在第6小节

func cubeBuild(cube,startTime,endTime string) {
   m := map[string]string{
      "startTime": startTime,
      "endTime":   endTime,
      "buildType": "BUILD",
   }
   resp, err := req.JSON().Put(url+"api/cubes/"+cube+"/build", m)
   if err != nil {
      fmt.Println("cube构建请求错误: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("cube构建状态码不符期望: ",resp.StatusCode())
   }
}

cube运行结果检查

检查cube运行结果,是成功还是失败了,还提供一个重新构建开关,如果cube失败,调用重构

kylin job检查接口属性说明

jobSearchMode 搜索模式(检查点和cubeing两种) ALL所有模式的数据

limit 限制返回条数

offset 位置(0是从第一条开始)

status 状态类型(8是错误类型,0是new,1是pending,2是running,32是stopped,4是finished,16是discarded)

timeFilter 时间范围过滤(1是一天,2是一周,3是一月,4是一年,5是全部)

调用示例: jobCheck(false)

为什么要在检查里面调重构方法,是因为重构cube需要拿到uuid,但uuid只能在这个接口中获取到,且uuid不是固定的,需要运cube运行后才可得到

func jobCheck(resumeSwitch bool) {
   resp, err := req.Get(url+"api/jobs?jobSearchMode=ALL&limit=15&offset=0&status=8&timeFilter=1")
   if err != nil {
      fmt.Println("job检查请求错误: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("job检查状态码不符期望: ",resp.StatusCode())
   }
   body, _ := resp.Body()
   var i interface{}
   json.Unmarshal(body,&i)
   uuid, err := jmespath.Search("[0].uuid", i)
   if err != nil {
      fmt.Println("search err: ",err)
   }
   fmt.Println(uuid)
   if resumeSwitch {
      cubeResume("uuid")
   }
}

重构cube

重构cube在job失败后,自动构建非常有用,避免人工频繁介入到这些工作中,是自动化中关键一步

调用示例: cubeResume("uuid")

func cubeResume(uuid string)  {
   resp, err := req.Put(url+"api/jobs/"+uuid+"/resume")
   if err != nil {
      fmt.Println("cube重新build请求错误: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("cube重新build状态码不符期望: ",resp.StatusCode())
   }
}

历史job清理

kylin在运行一段时间后,就会产生很多冗余,且时需要周期性的清理这些历史job

调用示例: jobHistoryDelete("uuid")

需要先检查job,获取uuid,然后再删除历史job

func jobHistoryDelete(uuid string) {
   resp, err := req.Delete(url+"api/jobs/"+uuid+"/drop")
   if err != nil {
      fmt.Println("历史job清理请求错误: ", err)
   }
   if resp.StatusCode() != 200 {
      fmt.Println("历史job清理状态码不符期望: ",resp.StatusCode())
   }
}

时间戳

kylin要求的时间毫秒,这里使用纳秒时间戳方法除一下就得到了毫秒

func timestamp()  {
   year := time.Now().Year()
   month := time.Now().Month()
   day := time.Now().Day()
   //今天的时间戳
   today := time.Date(year, month, day, 8, 0, 0, 0, time.Local).UnixNano() / 1e6
   fmt.Println(today)
   //昨天的时间戳
   iDay := time.Now().AddDate(0, 0, -1).Day()
   yesterday := time.Date(year, month, iDay, 8, 0, 0, 0, time.Local).UnixNano() / 1e6
   fmt.Println(yesterday)
}

小结

以上方法配合定时任务,就可以实现kylin自动化运维工作了,当然kylin官网还提供了更多接口,有需求的同学可以看看

传送门: https://kylin.apache.org/cn/docs31/howto/howto_use_restapi.html

更多关于Go语言kylin任务自动化的资料请关注脚本之家其它相关文章!

相关文章

  • Go语言中如何进行包管理

    Go语言中如何进行包管理

    在Go语言中,包(package)是函数和数据的集合,用于组织代码,实现模块化开发,本文将结合实际案例,详细讲解Go语言包管理的用法,有需要的可以参考下
    2024-10-10
  • Golang中的自定义函数类型详解

    Golang中的自定义函数类型详解

    在 Golang 中,type 关键字用于定义自定义类型,函数也是一种数据类型,因此可以使用 type 关键字来定义函数类型,本文就给大家详细介绍一下Golang中的自定义函数类型,需要的朋友可以参考下
    2023-07-07
  • golang trace view视图详解

    golang trace view视图详解

    在golang中可以使用go pprof的工具对golang程序进行性能分析,其中通过go trace 命令生成的trace view视图对于我们分析系统延迟十分有帮助,鉴于当前对trace view视图的介绍还是很少,在粗略的看过trace统计原理后,将对这部分做比较详细的介绍
    2023-08-08
  • 用go实现反向代理的代码示例

    用go实现反向代理的代码示例

    当实现反向代理时,Go语言是一个强大而受欢迎的选择,Go具有出色的并发性和网络编程支持,使其成为构建高性能反向代理的理想工具,在本文中,我将介绍如何使用Go语言实现一个简单的反向代理服务器,并提供相应的源代码,需要的朋友可以参考下
    2023-06-06
  • go使用snmp库查询mib数据案例代码

    go使用snmp库查询mib数据案例代码

    go语言使用snmp库中的 k-sone/snmpgo 实现相关mib查询,本文通过实例代码给大家介绍了go使用snmp库查询mib数据,感兴趣的朋友跟随小编一起看看吧
    2023-10-10
  • Golang实现JWT身份验证的示例详解

    Golang实现JWT身份验证的示例详解

    JWT(JSON Web Token)是一种开放标准(RFC 7519),用于在网络应用间安全地传输声明,本文主要为大家详细介绍了Golang实现JWT身份验证的相关方法,希望对大家有所帮助
    2024-03-03
  • Go语言实现可选参数的方法小结

    Go语言实现可选参数的方法小结

    这篇文章主要为大家详细介绍了Go语言实现可选参数的一些常见方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2024-02-02
  • 手把手教你如何在Goland中创建和运行项目

    手把手教你如何在Goland中创建和运行项目

    欢迎来到本指南!我们将手把手地教您在Goland中如何创建、配置并运行项目,通过简单的步骤,您将迅速上手这款强大的集成开发环境(IDE),轻松实现您的编程梦想,让我们一起开启这段精彩的旅程吧!
    2024-02-02
  • Go基础教程系列之Go接口使用详解

    Go基础教程系列之Go接口使用详解

    这篇文章主要介绍了Go基础教程系列之Go接口使用详解,需要的朋友可以参考下
    2022-04-04
  • Go语言中XML文件的读写操作

    Go语言中XML文件的读写操作

    本文主要介绍了Go语言中XML文件的读写操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04

最新评论