java批量下载将多个文件(minio中存储)压缩成一个zip包代码示例

 更新时间:2023年11月24日 09:45:39   作者:muguo321  
在Java应用程序中有时我们需要从多个URL地址下载文件,并将这些文件打包成一个Zip文件进行批量处理或传输,这篇文章主要给大家介绍了关于java批量下载将多个文件(minio中存储)压缩成一个zip包的相关资料,需要的朋友可以参考下

我的需求是将minio中存储的文件按照查询条件查询出来统一压成一个zip包然后下载下来。

思路:

针对这个需求,其实可以有多个思路,不过也大同小异,一般都是后端返回流文件前端再处理下载,也有少数是压缩成zip包之后直接给下载链接返回到前端,前端收到链接url直接window.open()进行下载,不过这种下载zip包的路径要确保是在网站下,否则访问不到,还有一个缺点就是文件没法删除,占用存储空间,后期需人为动作清理,选择哪种思路就可以看具体需求啦,我选择的是第一种思路,以下就针对第一种后端返回流方式进行具体介绍。

首先说第一种方法:

将需要下载的文件找到,minio中有查询方法将文件转成inputStream,这里就不多说了,拿到一组InputStream,我们就可以写入一个zip包里了,创建临时zip路径,将流遍历写入文件,读取临时zip文件再写入response中的outputStream,最后删除临时文件。

前端处理方法最后统一介绍,后端核心代码如下:

public void downloadZip(String name, List<MediaFileEntity> filePaths,HttpServletResponse     response){
        File zipFile = compressedFileToZip(name,filePaths);
        ByteArrayOutputStream os = new ByteArrayOutputStream();
        try {
            FileInputStream ins = new FileInputStream(zipFile);
            WritableByteChannel writableByteChannel = Channels.newChannel(os);
            FileChannel fileChannel = ins.getChannel();
            fileChannel.transferTo(0, fileChannel.size(), writableByteChannel);
            fileChannel.close();
            response.setCharacterEncoding("UTF-8");
            name = URLEncoder.encode(name, "UTF-8");
            response.setContentType("application/octet-stream");
            response.addHeader("Content-Disposition", "attachment;filename=" + new String(name.getBytes("iso8859-1")));
            response.setContentLength(os.size());
            response.setHeader("filename", name);
            response.addHeader("Content-Length", "" + os.size());
            var outputstream = response.getOutputStream();
            os.writeTo(outputstream);
            os.flush();
            os.close();
            outputstream.flush();
            outputstream.close();
            writableByteChannel.close();
            if(zipFile.exists()){
                //删除临时文件
                zipFile.delete();
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                os.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    /**
     * 构建临时zip文件
     **/
    public File compressedFileToZip(String name, List<MediaFileEntity> mediaFileEntityList) {
        String zipName = name.concat(LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddHHmmss"))).concat(".zip");
        //临时zip路径
        String fileZipPath = System.getProperty("user.dir").concat("/").concat(zipName);
        OutputStream os = null;
        ZipOutputStream zos = null;
        File file = new File(fileZipPath);
        try {
            if(!file.exists()){
                file.createNewFile();
            }
            os= new FileOutputStream(file);
            zos = new ZipOutputStream(os) ;
            for (MediaFileEntity entity:mediaFileEntityList
                 ) {
                zos.putNextEntry(new ZipEntry(entity.getFileName()));
                //minio 获取流
                InputStream ins = ossService.getObject(OssConfiguration.bucket,entity.getObjectKey());
                FileInputStream insf=convertToFileInputStream(ins);
                WritableByteChannel writableByteChannel = Channels.newChannel(zos);
                FileChannel fileChannel = insf.getChannel();
                fileChannel.transferTo(0, fileChannel.size(), writableByteChannel);
                zos.closeEntry();
                fileChannel.close();
                ins.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            if(zos != null){
                try {
                    zos.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
            if(os != null){
                try {
                    os.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return file;
    }

第二种方法:

安装hutool依赖,调用hutool包中的ZipUtil工具类中的zip方法进行下载,。此方法需要有3个参数,分别是OutoutStream,每个流对应的文件名字符串数组,文件的InputStream数组。

首先将需要下载的文件找到,拿到一组InputStream,也就是zip方法中的第3个参数,第一个参数顾名思义就是你想要输出的地方,我们是返回给前端所以就是response.getOutputStream(),第二个参数我们遍历文件时也可以拿到,废话不多说了,上代码看吧。

在项目下安装hutool依赖

<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.5.7</version>
</dependency>
  /**
     * 下载多个文件转zip压缩包
     *
     * @param mediaFileEntityList
     * @param response
     * @throws Exception
     */
    public void dowloadToZip(List<MediaFileEntity> mediaFileEntityList, HttpServletResponse response) throws Exception {

        int i = 0;
        //如果有附件 进行zip处理
        if (mediaFileEntityList != null && mediaFileEntityList.size() > 0) {
            try {
                //被压缩文件流集合
                InputStream[] srcFiles = new InputStream[mediaFileEntityList.size()];
                //被压缩文件名称
                String[] srcFileNames = new String[mediaFileEntityList.size()];
                for (MediaFileEntity entity : mediaFileEntityList) {
                    //以下代码为获取图片inputStream
                    InputStream ins = ossService.getObject(OssConfiguration.bucket,entity.getObjectKey());
                    if (ins == null) {
                        continue;
                    }
                    //塞入流数组中
                    srcFiles[i] = ins;
                    srcFileNames[i] = entity.getFileName();
                    i++;
                }
                response.setCharacterEncoding("UTF-8");
                response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode("下载.zip", "UTF-8"));
                //多个文件压缩成压缩包返回
                ZipUtil.zip(response.getOutputStream(), srcFileNames, srcFiles);
            } catch (IOException e) {
                    e.printStackTrace();
            }
        }

    }

Controller这边可以直接写成没有返回值的接口,我的例子如下,仅供参考:

    @GetMapping("/{workspace_id}/fileDownList")
    @ApiOperation(value = "查询文件的下载地址")
    public void getFileStreamList(@PathVariable(name = "workspace_id") String workspaceId,
                                  @RequestParam(name = "ids") String ids, HttpServletResponse response) throws Exception {

        List<Integer> fileIds= Arrays.stream(ids.split(",")).collect(Collectors.toList()).stream()
                .map(Integer::parseInt)
                .collect(Collectors.toList());
        List<MediaFileEntity> mediaFileEntityList = fileService.getMediaListById(workspaceId, fileIds);
//        fileUtil.downloadZip("111",mediaFileEntityList,response);//第一种方法
        fileUtil.dowloadToZip(mediaFileEntityList,response);//第二种方法
    }

到此,后端zip下载就完毕了,下面我们说说前端如何处理

网上查询前端处理大致都是如下,但是我自己使用的时候下载总是提示损坏,后找了一个工具类直接调用,就可以了,示例代码请求是get,如需调整,可根据情况自行调整

核心代码如下:

import { saveAs } from 'file-saver';    
const baseURL = (window as any).config.VITE_APP_BASE_API; //import.meta.env.VITE_APP_BASE_API;

export default {
zip(url: string, name: string) {
        url = baseURL + url;
        axios({
            method: 'get',
            url: url,
            responseType: 'blob',
            headers: { Authorization: 'Bearer ' + getToken() },
        }).then(res => {
            const isBlob = blobValidate(res.data);
            if (isBlob) {
                const blob = new Blob([res.data], { type: 'application/zip' });
                this.saveAs(blob, name);
            } else {
                this.printErrMsg(res.data);
            }
        });
    },
    saveAs(text: any, name: string, opts?: any) {
        saveAs(text, name, opts);
    },
    async printErrMsg(data: any) {
        const resText = await data.text();
        const rspObj = JSON.parse(resText);
        const errMsg = errorCode[rspObj.code] || rspObj.msg || errorCode['default'];
        // ElMessage.error(errMsg);
    },
    blobValidate(data: any) {
        return data.type !== 'application/json';
    }
};

按钮绑定方法直接调用zip下载方法,传参为url和要导出zip的名称,示例如下:

import download from '@/plugins/download';

function batchDownload(){
    ElMessage.success("文件下载中,请勿重复点击!");
    download.zip(`/media/api/v1/files/${workspaceId}/fileDownList?ids=${selectlist.value.join(",")}`,"MediaFiles"+new Date().toLocaleDateString()+".zip")

}

总结 

到此这篇关于java批量下载将多个文件(minio中存储)压缩成一个zip包的文章就介绍到这了,更多相关java批量下载多文件压缩成zip包内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Java实例讲解枚举enum的实现

    Java实例讲解枚举enum的实现

    枚举法的本质就是从所有候选答案中去搜索正确的解,枚举算法简单粗暴,他暴力的枚举所有可能,尽可能地尝试所有的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • 解决eclipse启动tomcat时不能加载web项目的问题

    解决eclipse启动tomcat时不能加载web项目的问题

    这篇文章主要介绍了解决eclipse启动tomcat时不能加载web项目的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-06-06
  • springboot后端如何实现携带token登陆

    springboot后端如何实现携带token登陆

    这篇文章主要介绍了springboot后端如何实现携带token登陆,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11
  • 一个合格JAVA软件工程师应该具备什么

    一个合格JAVA软件工程师应该具备什么

    一个合格JAVA软件工程师应该具备哪些专业技能,面试技巧是什么?本文为大家分享了2016版最新Java软件工程师就业思维图,感兴趣的小伙伴们可以参考一下
    2016-11-11
  • Java中如何正确重写equals方法

    Java中如何正确重写equals方法

    Object类中equals方法比较的是两个对象的引用地址,只有对象的引用地址指向同一个地址时,才认为这两个地址是相等的,否则这两个对象就不相等
    2021-10-10
  • Intellij idea使用Statistic统计代码行数的方法

    Intellij idea使用Statistic统计代码行数的方法

    这篇文章主要介绍了Intellij idea使用Statistic统计代码行数的方法,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-04-04
  • Mac下用Java调用c/c++的思路详解

    Mac下用Java调用c/c++的思路详解

    这篇文章主要介绍了Mac下用Java调用c/c++的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-08-08
  • java Scanner类的使用示例代码

    java Scanner类的使用示例代码

    这篇文章主要介绍了java Scanner类的使用,Scanner类还可以任意地对字符串和基本类型(如int和double)的数据进行分析。借助于Scanner,可以针对任何要处理的文本内容编写自定义的语法分析器,感兴趣的朋友跟随小编一起看看吧
    2021-07-07
  • Java中Equals使用方法汇总

    Java中Equals使用方法汇总

    这篇文章主要采用问答的方式集中讲解了Java中Equals的使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-02-02
  • Spring集成MyBatis 及Aop分页的实现代码

    Spring集成MyBatis 及Aop分页的实现代码

    这篇文章主要介绍了Spring集成MyBatis 及Aop分页的实现,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-04-04

最新评论