如何利用Golang解析读取Mysql备份文件

 更新时间:2019年12月01日 08:44:37   作者:daoshud1  
这篇文章主要给大家介绍了关于如何利用Golang解析读取Mysql备份文件的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Golang具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

前言

前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个G打开都是问题;

使用备份文件恢复

大文件编辑器,glogg-latest-x86_64-setup通过该文件打开备份文件,虽然过程稍慢,但是能够打开,且正常读取编辑信息,要恢复的数据量不大时采取是没问题的,但是如果表几十万行,操作起来就比较麻烦了;

Golang读取备份文件

采用Golang读取,借助编程语言的优势来读取备份,经过测试读取指定备份文件(约36GB)表,大约需要12min,其实主要就是读取遍历备份文件的过程;

**
* @Author: ws
* @File: main
* @Date: 2019/11/16 0016 14:35
* @Remark: 
*/
var(
 _INSERT_INTO="INSERTINTO${table}VALUES"
 _Dir="temp"
)
var TABLE_CAR="T_SCM_CAR"

func ReadSqlFile(){
 t1 := time.Now() // get current time
 f, err := os.Open("E:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
 defer f.Close()
 if err != nil {
 }
 buf := bufio.NewReader(f)
 nfs:=getTxtFile(TABLE_CAR)
 for {
  s, err := buf.ReadString('\n')
  if(err!=nil){
   logger.ERROR(err.Error())
   break
  }
  if err == nil {
   if s==""{
    continue
   }
   sqlstr:=getSqlStr(s,TABLE_CAR)
   if(sqlstr!=""){
    nfs.Write([]byte(sqlstr))
   }
  }
 }
 elapsed := time.Since(t1)
 fmt.Println("App elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化,并与预设是否一致,如果一致则读取加载到
 */
func getSqlStr(sqlstr,tableName string)string{
 var realTableName=strings.Replace(_INSERT_INTO,"${table}",tableName,-1)
 replaceEmptyStr:=strings.Replace(sqlstr," ","",-1)
 tempS:=strings.ToUpper(strings.Replace(replaceEmptyStr,"`","",-1))
 if(len(tempS)>=len(realTableName)) {
  tabName := tempS[0:len(realTableName)]
  if (tabName ==realTableName) {
   return sqlstr
  }
 }
 return ""
}

/**
打开txt文件
 */
func getTxtFile(fileName string)os.File{
 txtFile:=createToFile(fmt.Sprintf("%v/%v.txt",_Dir,fileName))
 nfs, err := os.OpenFile(txtFile.Name(), os.O_APPEND |os.O_RDWR|os.O_CREATE, 0644)
 if err != nil {
  logger.ERROR(fmt.Sprintf("打开文件失败:%v",err.Error()))
 }
 defer nfs.Close()
 nfs.Seek(0, io.SeekEnd)
 return *nfs
}


func readLine(r *bufio.Reader) (string, error) {
 line, isprefix, err := r.ReadLine()
 for isprefix && err == nil {
  var bs []byte
  bs, isprefix, err = r.ReadLine()
  line = append(line, bs...)
 }
 return string(line), err
}

func createToFile(fileName string)os.File{
 _, err := os.Stat(_Dir)
 if err == nil {
 }
 if os.IsNotExist(err) {
  os.MkdirAll(_Dir, os.ModePerm)
 }
 newFile, err := os.Create(fileName)
 if err != nil {
  logger.ERROR(fmt.Sprintf("文件创建失败:%v",err.Error()))
 }
 defer func() {
  newFile.Close()
 }()
 newFile.WriteString("\xEF\xBB\xBF") // 写入UTF-8 BOM,防止中文乱码
 return *newFile
}

func main() {
 ReadSqlFile()
}

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

相关文章

  • 一文带你了解Go语言实现的并发神库conc

    一文带你了解Go语言实现的并发神库conc

    前几天逛github发现了一个有趣的并发库-conc,这篇文章将为大家详细介绍一下这个库的实现,文中的示例代码讲解详细,感兴趣的可以了解一下
    2023-01-01
  • GO中对map排序的实现

    GO中对map排序的实现

    本文主要介绍了GO中对map排序的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Go语言实现新春祝福二维码的生成

    Go语言实现新春祝福二维码的生成

    二维码现在是随处度可以看到,买东西,支付,添加好友只要你扫一扫就能完成整个工作,简单且方便。所以利用这个新春佳节做一个带着新春祝福的二维码吧
    2023-02-02
  • Go语言生成UUID的利器(github.com/google/uuid)

    Go语言生成UUID的利器(github.com/google/uuid)

    UUID是确保每个元素唯一性的重要工具,Go语言虽然在标准库中没有直接提供UUID生成功能,但可以通过安装github.com/google/uuid库来实现,本文就来介绍一下,感兴趣的可以了解一下
    2024-11-11
  • go中的参数传递是值传递还是引用传递的实现

    go中的参数传递是值传递还是引用传递的实现

    参数传递机制是一个重要的概念,它决定了函数内部对参数的修改是否会影响到原始数据,本文主要介绍了go中的参数传递是值传递还是引用传递的实现,感兴趣的可以了解一下
    2024-12-12
  • 使用Golang生成压缩文件的详细教程

    使用Golang生成压缩文件的详细教程

    与其他语言一样,内置标准库默认支持文件压缩功能,本文介绍Golang如何创建压缩文件,增加一个或多个文件生成压缩文件,也可以在压缩文件中创建文件夹,用于对文件进行分类管理,Golang标准库 archive/zip提供了创建和读取压缩文件功能,需要的朋友可以参考下
    2024-01-01
  • go的defer和闭包示例说明(非内部实现)

    go的defer和闭包示例说明(非内部实现)

    这篇文章主要为大家介绍了go的defer和闭包示例说明(非内部实现),有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • golang fmt格式“占位符”的实例用法详解

    golang fmt格式“占位符”的实例用法详解

    在本篇文章里小编给大家整理的是一篇关于golang fmt格式“占位符”的实例用法详解内容,有兴趣的朋友们可以学习下。
    2021-07-07
  • golang中切片copy复制和等号复制的区别介绍

    golang中切片copy复制和等号复制的区别介绍

    这篇文章主要介绍了golang中切片copy复制和等号复制的区别,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • Go Java算法最大单词长度乘积示例详解

    Go Java算法最大单词长度乘积示例详解

    这篇文章主要为大家介绍了Go Java算法最大单词长度乘积示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-08-08

最新评论