zlib库压缩和解压字符串STL string的实例详解

 更新时间:2017年10月27日 08:36:12   作者:infoworld  
这篇文章主要介绍了zlib库压缩和解压字符串STL string的实例详解的相关资料,希望通过本文能帮助到大家,需要的朋友可以参考下

zlib库压缩和解压字符串STL string的实例详解

场景

1.一般在使用文本json传输数据, 数据量特别大时,传输的过程就特别耗时, 因为带宽或者socket的缓存是有限制的, 数据量越大, 传输时间就越长. 网站一般使用gzip来压缩成二进制.

说明

1.zlib库可以实现gzip和zip方式的压缩, 这里只介绍zip方式的二进制压缩, 压缩比还是比较可观的, 一般写客户端程序已足够.

2.修改了一下zpipe.c的实现, 其实就是把读文件改为读字符串, 写文件改为写字符串即可.

例子

// test_zlib.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"

#include <string>
#include <iostream>
#include <memory>
#include <assert.h>
#include "zlib.h"



// E:\software\Lib\compress\zlib-1.2.5\src\examples
// zpipe.c

#define CHUNK 16384

/* Compress from file source to file dest until EOF on source.
  def() returns Z_OK on success, Z_MEM_ERROR if memory could not be
  allocated for processing, Z_STREAM_ERROR if an invalid compression
  level is supplied, Z_VERSION_ERROR if the version of zlib.h and the
  version of the library linked do not match, or Z_ERRNO if there is
  an error reading or writing the files. */
int CompressString(const char* in_str,size_t in_len,
  std::string& out_str, int level)
{
  if(!in_str)
    return Z_DATA_ERROR;

  int ret, flush;
  unsigned have;
  z_stream strm;

  unsigned char out[CHUNK];

  /* allocate deflate state */
  strm.zalloc = Z_NULL;
  strm.zfree = Z_NULL;
  strm.opaque = Z_NULL;
  ret = deflateInit(&strm, level);
  if (ret != Z_OK)
    return ret;

  std::shared_ptr<z_stream> sp_strm(&strm,[](z_stream* strm){
     (void)deflateEnd(strm);
  });
  const char* end = in_str+in_len;

  size_t pos_index = 0;
  size_t distance = 0;
  /* compress until end of file */
  do {
    distance = end - in_str;
    strm.avail_in = (distance>=CHUNK)?CHUNK:distance;
    strm.next_in = (Bytef*)in_str;

    // next pos
    in_str+= strm.avail_in;
    flush = (in_str == end) ? Z_FINISH : Z_NO_FLUSH;

    /* run deflate() on input until output buffer not full, finish
      compression if all of source has been read in */
    do {
      strm.avail_out = CHUNK;
      strm.next_out = out;
      ret = deflate(&strm, flush);  /* no bad return value */
      if(ret == Z_STREAM_ERROR)
        break;
      have = CHUNK - strm.avail_out;
      out_str.append((const char*)out,have);
    } while (strm.avail_out == 0);
    if(strm.avail_in != 0);   /* all input will be used */
      break;

    /* done when last data in file processed */
  } while (flush != Z_FINISH);
  if(ret != Z_STREAM_END) /* stream will be complete */
    return Z_STREAM_ERROR;

  /* clean up and return */
  return Z_OK;
}

/* Decompress from file source to file dest until stream ends or EOF.
  inf() returns Z_OK on success, Z_MEM_ERROR if memory could not be
  allocated for processing, Z_DATA_ERROR if the deflate data is
  invalid or incomplete, Z_VERSION_ERROR if the version of zlib.h and
  the version of the library linked do not match, or Z_ERRNO if there
  is an error reading or writing the files. */
int DecompressString(const char* in_str,size_t in_len, std::string& out_str)
{
  if(!in_str)
    return Z_DATA_ERROR;

  int ret;
  unsigned have;
  z_stream strm;
  unsigned char out[CHUNK];

  /* allocate inflate state */
  strm.zalloc = Z_NULL;
  strm.zfree = Z_NULL;
  strm.opaque = Z_NULL;
  strm.avail_in = 0;
  strm.next_in = Z_NULL;
  ret = inflateInit(&strm);
  if (ret != Z_OK)
    return ret;

  std::shared_ptr<z_stream> sp_strm(&strm,[](z_stream* strm){
     (void)inflateEnd(strm);
  });

  const char* end = in_str+in_len;

  size_t pos_index = 0;
  size_t distance = 0;

  int flush = 0;
  /* decompress until deflate stream ends or end of file */
  do {
    distance = end - in_str;
    strm.avail_in = (distance>=CHUNK)?CHUNK:distance;
    strm.next_in = (Bytef*)in_str;

    // next pos
    in_str+= strm.avail_in;
    flush = (in_str == end) ? Z_FINISH : Z_NO_FLUSH;

    /* run inflate() on input until output buffer not full */
    do {
      strm.avail_out = CHUNK;
      strm.next_out = out;
      ret = inflate(&strm, Z_NO_FLUSH);
      if(ret == Z_STREAM_ERROR) /* state not clobbered */
        break;
      switch (ret) {
      case Z_NEED_DICT:
        ret = Z_DATA_ERROR;   /* and fall through */
      case Z_DATA_ERROR:
      case Z_MEM_ERROR:
        return ret;
      }
      have = CHUNK - strm.avail_out;
      out_str.append((const char*)out,have);
    } while (strm.avail_out == 0);

    /* done when inflate() says it's done */
  } while (flush != Z_FINISH);

  /* clean up and return */
  return ret == Z_STREAM_END ? Z_OK : Z_DATA_ERROR;
}


int _tmain(int argc, _TCHAR* argv[])
{
  const char* buf = "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "01010101010101010101010000000000000000000000000000011111111111111"
    "qwertyuiop[]";

  std::cout << "========= CompressString ===========" << std::endl;
  std::cout << "Source Buffer Size: " << strlen(buf) << std::endl;
  std::string out_compress;
  assert(CompressString(buf,strlen(buf),out_compress,Z_DEFAULT_COMPRESSION) == Z_OK);
  std::cout << "Compress Buffer Size: " << out_compress.size() << std::endl;

  std::cout << "========= DecompressString ===========" << std::endl;
  std::string out_decompress;
  assert(DecompressString(out_compress.c_str(),out_compress.size(),out_decompress) == Z_OK);
  std::cout << "Decompress Buffer Size: " << out_decompress.size() << std::endl;
  assert(!out_decompress.compare(buf));

  return 0;
}

输出:

========= CompressString ===========
Source Buffer Size: 662
Compress Buffer Size: 38
========= DecompressString ===========
Decompress Buffer Size: 662

参考

zlib\src\examples\zpipe.c

C++ Code Snippet - Compressing STL Strings with zlib

如有疑问请留言或者到本站社区交流讨论,感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!

相关文章

  • 详解如何实现C++虚函数调用汇编代码

    详解如何实现C++虚函数调用汇编代码

    多态是C++中最重要的特性之一,对虚函数的调用在C++代码中是随处可见的,本篇文章我们详细探讨一下,感兴趣的朋友快来看看吧
    2021-11-11
  • OpenCV实现简单录屏功能

    OpenCV实现简单录屏功能

    这篇文章主要为大家详细介绍了OpenCV实现简单录屏功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • C语言调用SQLite数据库实现数据增删改查

    C语言调用SQLite数据库实现数据增删改查

    SQLite是一种轻量级的关系型数据库管理系统,是一个开源的、零配置的、服务器端的、自包含的、零管理的、事务性的SQL数据库引擎,本文主要介绍了如何调用SQLite数据库实现数据增删改查,需要的可以参考一下
    2023-08-08
  • C++解析特殊符号tab和换行符号详情

    C++解析特殊符号tab和换行符号详情

    这篇文章主要给大家介绍的是C++解析一些特殊符号tab、换行符号的一些相关资料,需要的小伙伴可以参考下面文章的具体内容
    2021-09-09
  • C++中remove与erase区别小结

    C++中remove与erase区别小结

    remove函数和 erase函数都可以实现元素的删除,本文主要介绍了C++中remove与erase区别小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-08-08
  • C语言、C++中的union用法总结

    C语言、C++中的union用法总结

    这篇文章主要介绍了C语言、C++中的union用法总结,本文讲解了什么是union、C中使用union、当union遇到对象等内容,需要的朋友可以参考下
    2014-10-10
  • 详解C语言中的字符串数组

    详解C语言中的字符串数组

    这篇文章主要介绍了C语言中的字符串数组,本文通过示例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-09-09
  • Matlab实现数据的动态显示方法

    Matlab实现数据的动态显示方法

    这篇文章主要为大家详细介绍了Matlab使用Plot函数实现数据动态显示方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • c++与python实现二分查找的原理及实现

    c++与python实现二分查找的原理及实现

    本文介绍了c++与python实现二分查找的原理及实现,二分查找指首先将数组中间值和目标值进行比较,如果相等则返回;如果不相等,则选择中间值左边的一半或者右边的一半进行比较;不断重复直到检索完毕,下文相关资料需要的朋友可以参考一下
    2022-03-03
  • C++ Qt开发之运用QJSON模块解析数据

    C++ Qt开发之运用QJSON模块解析数据

    JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,它易于人阅读和编写,也易于机器解析和生成,本文主要介绍了Qt如何运用QJson组件的实现对JSON文本的灵活解析功能,需要的可以参考下
    2024-01-01

最新评论