Go中Gzip与json搭配实现数据压缩demo

 更新时间:2023年05月25日 09:06:50   作者:goper  
这篇文章主要为大家介绍了Go中Gzip与json搭配使用压缩数据的实现demo,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

正文

在日常工作中,如果遇到数据量大的情况,在db中是不能直接存储某些字段的,一般会用json进行marshal为 byte存入。但是如果此时占用空间依旧过大,则可以考虑再用gzip 还进一步压缩。

demo

package main
import (
    "bytes"
    "compress/gzip"
    "encoding/json"
)
func main() {
}
type anyStruct struct {
}
// 压缩 与json搭配使用
func MarshalToJsonWithGzip(jsonData anyStruct) []byte {
    dataAfterMarshal, _ := json.Marshal(jsonData)
    dataAfterGzip, err := Encode(dataAfterMarshal)
    if err != nil {
        return nil
    }
    return dataAfterGzip
}
// 解压 与json搭配使用
func UnmarshalDataFromJsonWithGzip(msg []byte) (*anyStruct, error) {
    dataAfterDecode, err := Decode(msg)
    if err != nil {
        return nil, err
    }
    data := &anyStruct{}
    err = json.Unmarshal(dataAfterDecode, data)
    if err != nil {
        return nil, err
    }
    return data, nil
}
// Gzip用法 压缩数据
func Encode(input []byte) ([]byte, error) {
    // 创建一个新的 byte 输出流
    var buf bytes.Buffer
    // 创建一个新的 gzip 输出流
    gzipWriter := gzip.NewWriter(&buf)
    // 将 input byte 数组写入到此输出流中
    _, err := gzipWriter.Write(input)
    if err != nil {
        _ = gzipWriter.Close()
        return nil, err
    }
    if err := gzipWriter.Close(); err != nil {
        return nil, err
    }
    // 返回压缩后的 bytes 数组
    return buf.Bytes(), nil
}
// Gzip用法 解压数据
func Decode(input []byte) ([]byte, error) {
    // 创建一个新的 gzip.Reader
    bytesReader := bytes.NewReader(input)
    gzipReader, err := gzip.NewReader(bytesReader)
    if err != nil {
        return nil, err
    }
    defer func() {
        // defer 中关闭 gzipReader
        _ = gzipReader.Close()
    }()
    buf := new(bytes.Buffer)
    // 从 Reader 中读取出数据
    if _, err := buf.ReadFrom(gzipReader); err != nil {
        return nil, err
    }
    return buf.Bytes(), nil
}

以上就是Go中Gzip与json搭配实现数据压缩demo的详细内容,更多关于Go 压缩数据的资料请关注脚本之家其它相关文章!

相关文章

  • Golang三个编译基本命令的使用小结

    Golang三个编译基本命令的使用小结

    本文主要介绍了Golang三个编译基本命令的使用小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-04-04
  • go语言接口的定义和实现简单分享

    go语言接口的定义和实现简单分享

    这篇文章主要介绍了go语言接口的定义和实现简单分享的相关资料,需要的朋友可以参考下
    2023-08-08
  • GO语言临界资源安全问题的深入理解

    GO语言临界资源安全问题的深入理解

    临界资源安全问题也就是以往我们常听到的线程安全问题,本文详细的介绍了GO语言临界资源安全问题的深入理解,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • Golang中make与new使用区别小结

    Golang中make与new使用区别小结

    Go语言中new和make是内建的两个函数,主要用来创建分配类型内存,本文主要给大家介绍了Go语言中函数new与make的使用和区别,具有一定的参考价值,感兴趣的可以了解一下
    2024-01-01
  • Go项目编写Makefile规则文件概述

    Go项目编写Makefile规则文件概述

    这篇文章主要为大家介绍了Go项目编写Makefile文件规则概述,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-04-04
  • go实现fping功能

    go实现fping功能

    这篇文章主要介绍了go实现fping功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11
  • 如何使用工具自动监测SSL证书有效期并发送提醒邮件

    如何使用工具自动监测SSL证书有效期并发送提醒邮件

    本文介绍了如何开发一个工具,用于每日检测SSL证书剩余有效天数并通过邮件发送提醒,工具基于命令行,通过SMTP协议发送邮件,需配置SMTP连接信息,本文还提供了配置文件样例及代码实现,帮助用户轻松部署和使用该工具
    2024-10-10
  • go中for range的坑以及解决方案

    go中for range的坑以及解决方案

    相信小伙伴都遇到过以下的循环变量的问题,本文主要介绍了go中for range的坑以及解决方案,具有一定的参考价值,感兴趣的可以了解一下
    2024-01-01
  • 解决go echo后端处理跨域的两种操作方式

    解决go echo后端处理跨域的两种操作方式

    这篇文章主要介绍了解决go echo后端处理跨域的两种操作方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • 一文教你学会Go中singleflight的使用

    一文教你学会Go中singleflight的使用

    缓存在项目中使用应该是非常频繁的,提到缓存只要了解过 singleflight ,基本都会用于缓存实现的一部分吧,下面就跟随小编一起来学习一下singleflight的使用吧
    2024-02-02

最新评论