SpringBoot项目的多文件兼多线程上传下载

 更新时间:2023年04月06日 08:33:06   作者:ZuiaiLxh.  
本文主要介绍了SpringBoot项目的多文件兼多线程上传下载,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

我们的项目目前需要在一个相册中,上传多个的图片,因此,在一次的用户提交过程中,会有多张的图片需要被处理,那么此时,就需要有一个方法,来处理这多张文件。

很容易可以想到MultipartFile,我们在使用POST请求的时候就知道文件的单张上传都是POST请求加上一个@RequestParam的MultipartFile类型的文件。

如下

但是上面只能实现单张文件的上传,因此为了确保效率以及以及提交就能完成多文件的上传,需要把代码修改为如下状态,也就是请求参数为一个数组,这样子就能接受多文件的请求了

文件上传到本地代码编写

先最简单的介绍一下把文件保存到本地的代码编写

public static final String upload(String baseDir, MultipartFile file, String[] allowedExtension)
            throws FileSizeLimitExceededException, IOException, FileNameLengthLimitExceededException,
            InvalidExtensionException
    {   //判断文件名长度是否过长
        int fileNamelength = Objects.requireNonNull(file.getOriginalFilename()).length();
        if (fileNamelength > FileUploadUtils.DEFAULT_FILE_NAME_LENGTH)
        {
            throw new FileNameLengthLimitExceededException(FileUploadUtils.DEFAULT_FILE_NAME_LENGTH);
        }
        //判断文件的扩展类型是否合理
        assertAllowed(file, allowedExtension);
        //对文件名进行编码
        String fileName = extractFilename(file);
        //获取文件在本机的绝对地址
        String absPath = getAbsoluteFile(baseDir, fileName).getAbsolutePath();
        //将文件放到本机绝对地址
        file.transferTo(Paths.get(absPath));
        //返回文件名
        return getPathFileName(fileName);
    }
//比较重要的就是这个 他将会创建多级目录 并且把文件保存到对应的位置
private static final File getAbsoluteFile(String uploadDir, String fileName) throws IOException
    {
        File desc = new File(uploadDir + File.separator + fileName);

        if (!desc.exists())
        {
            if (!desc.getParentFile().exists())
            {
                desc.getParentFile().mkdirs();
            }
        }
        return desc.isAbsolute() ? desc : desc.getAbsoluteFile();
    }

文件上传之后,目录结构如下

其中文件目录结构指定位置为

全局线程池配置

我使用的SpringBoot版本为2.7.7,并且这是一个SpringCloud项目,因此,我对各种不同场景下的线程池进行了不同的配置,并且在需要使用到线程池的模块中直接映入这个线程池配置模块即可,代码如下,注意,这个代码是我自己编写的,很多类都是Java中没有的,你们按照自己的方法编写线程池配置即可

@AutoConfiguration
public class DynamicThreadPool {

    /**
     * 初始化线程池
     *
     * @return
     */
    @Bean("fileThreadPool")
    private static ThreadPoolExecutor buildThreadPoolExecutor() {
        return new ThreadPoolExecutor(3,
                3,
                60,
                TimeUnit.SECONDS,
                new ResizableCapacityLinkedBlockIngQueue<Runnable>(10),
                new NamedThreadFactory("file-thread-"),
                new ThreadPoolExecutor.DiscardPolicy());
    }
}

然后将这个类自动加载

实现多线程上传

其实实现多线程上传比较简单,很容易的就可以想到Thread类,ThreadPoolExecutor,Semaphore,CountdownLaunch,CompletableFuture,CyclicBarrier等各种解决方法。
这里先简单的列出CountDownLaunch配合ThreadPoolExecutor来实现多线程文件上传的方法

CountDownLaunch

CountDownLatch 有什么用?
CountDownLatch 允许 count 个线程阻塞在一个地方,直至所有线程的任务都执行完毕。CountDownLatch 是一次性的,计数器的值只能在构造方法中初始化一次,之后没有任何机制再次对其设置值,当 CountDownLatch 使用完毕后,它不能再次被使用。

在这个项目中,我们要读取处理 3个文件,这 3个任务都是没有执行顺序依赖的任务,但是我们需要返回给用户的时候将这几个文件的处理的结果进行统计整理。为此我们定义了一个线程池和 count 为3的CountDownLatch对象 。使用线程池处理读取任务,每一个线程处理完之后就将 count-1,调用CountDownLatch对象的 await()方法,直到所有文件读取完之后,才会接着执行后面的逻辑。

代码比较简单,也很好理解,也就是每一个文件拷贝完毕之后,调用countDownLaunch的countDown方法将计数器-1即可。
同时,由于是多线程拷贝,并且我需要保存每一次拷贝的返回结果,因此,就使用到了CopyOnWriteArrayList来保证并发情况下的数据集合不被丢失修改。

 	@Autowired
    @Qualifier("fileThreadPool")
    private ThreadPoolExecutor fileThreadPool;

    /**
     * 实现多文件多线程上传
     *
     * @param files 要上传的文件
     * @return 返回恋爱日志信息
     */
    @ApiOperation(value = "多附件上传-纯附件上传", notes = "多附件上传")
    @ResponseBody
    @PostMapping("/uploadFiles")
    public R<LoveLogs> handleFileUpload(@RequestParam("files") MultipartFile[] files) {
        LoveLogs loveLogs = new LoveLogs();
        String[] urls = new String[files.length];
        CopyOnWriteArrayList<String> list = new CopyOnWriteArrayList<>();
        CountDownLatch countDownLatch = new CountDownLatch(files.length);
        for (int i = 0; i < files.length; i++) {
            try {
                 获取文件名
                //String fileName = file.getOriginalFilename();
                 拼接文件保存路径
                //String filePath = "D:/uploads/" + fileName;
                 保存文件到本地
                //file.transferTo(new File(filePath));
                MultipartFile file = files[i];
                //String url = sysFileService.uploadFile(file);
                //urls[i] = url;
                //TODO 使用CountDownLaunch或者ComplatableFuture或者Semaphore
                //来完成多线程的文件上传
                fileThreadPool.submit(() -> {
                    try {
                        String s = sysFileService.uploadFile(file);
                        list.add(s);
                    } catch (Exception e) {
                        throw new RuntimeException(e);
                    } finally {
                        //表示一个文件已经被完成
                        countDownLatch.countDown();
                    }
                });
            } catch (Exception e) {
                throw new RuntimeException(e);
            }
        }
        try {
            //阻塞直到所有的文件完成复制
            countDownLatch.await();
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
        //统计每个文件的url
        String photoUrls = String.join(",", list);
        loveLogs.setUrls(photoUrls);
        //返回结果
        return R.ok(loveLogs);
    }

实测

然后就是上传多个文件,并且发送请求了,下面是一个简单的请求模板,可以发现我上传完毕文件之后,他返回给我了本地的这个文件的位置,当然,这个文件的url地址啥的你们自己与前端对接完毕即可,我这里是多个url直接封装在一起并且使用英文逗号作为分隔符,具体情况自定义即可。

文件回显

文件的下载回显也比较简单,只要给出文件对应的位置,然后直接去本地加载即可。
这里文件回显暂时不做多线程优化,等后期项目需要了在做

/**
     * 文件下载
     *
     * @param name     文件名称
     * @param response 响应流
     */
    @GetMapping("/download")
    public void download(@RequestParam String name, HttpServletResponse response) {
        //FileInputStream fis = null;
        //ServletOutputStream os = null;
        try (FileInputStream fis = new FileInputStream(new File(name));
             ServletOutputStream os = response.getOutputStream()) {
            //输入流,通过输入流读取文件内容
            //fis = new FileInputStream(new File( name));
            //输出流,通过输出流将文件写回浏览器,在浏览器展示图片
            //os = response.getOutputStream();
            //设置响应的数据的格式
            response.setContentType("image/jpeg");
            int len = 0;
            byte[] buffre = new byte[1024 * 10];
            while ((len = fis.read(buffre)) != -1) {
                os.write(buffre, 0, len);
                os.flush();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

 到此这篇关于SpringBoot项目的多文件兼多线程上传下载的文章就介绍到这了,更多相关SpringBoot 多文件上传下载内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 详解Java中运算符及用法

    详解Java中运算符及用法

    这篇文章主要介绍了详解Java中运算符以及相关的用法讲解,一起跟着小编学习下吧。
    2017-12-12
  • Nacos通过RefreshScope实现配置自动更新的方式分享

    Nacos通过RefreshScope实现配置自动更新的方式分享

    这篇文章主要给大家介绍了Nacos如何通过RefreshScope实现配置自动更新,文中给了两种实现方式供大家参考,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
    2023-09-09
  • springboot集成KoTime的配置过程

    springboot集成KoTime的配置过程

    koTime是一个springboot项目性能分析工具,通过追踪方法调用链路以及对应的运行时长快速定位性能瓶颈,这篇文章主要介绍了springboot集成KoTime,需要的朋友可以参考下
    2022-06-06
  • 教你如何更改IDEA项目的路径

    教你如何更改IDEA项目的路径

    这篇文章主要介绍了教你如何更改IDEA项目的路径,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-01-01
  • Java字符串编码解码性能提升的技巧分享

    Java字符串编码解码性能提升的技巧分享

    这篇文章主要是和大家分享几个Java中提升字符串编码解码性能的小技巧,文中的示例代码讲解详细,对我们学习有一定的帮助,需要的可以参考一下
    2022-05-05
  • Java中String类常用方法详细汇总

    Java中String类常用方法详细汇总

    Java中String类在所有项目开发里面一定会用到,因此String类提供了一系列的功能操作方法,下面这篇文章主要给大家介绍了关于Java中String类常用方法的相关资料,需要的朋友可以参考下
    2023-05-05
  • Java 二分查找算法的实现

    Java 二分查找算法的实现

    这篇文章主要介绍了Java 如何实现二分查找算法,帮助大家更好的理解和学习Java 算法,感兴趣的朋友可以了解下
    2020-09-09
  • Java将对象写入文件读出_序列化与反序列化的实例

    Java将对象写入文件读出_序列化与反序列化的实例

    下面小编就为大家带来一篇Java将对象写入文件读出_序列化与反序列化的实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-08-08
  • SpringBoot+Mybatis-plus+shardingsphere实现分库分表的方案

    SpringBoot+Mybatis-plus+shardingsphere实现分库分表的方案

    实现亿级数据量分库分表的项目是一个挑战性很高的任务,下面是一个基于Spring Boot的简单实现方案,感兴趣的朋友一起看看吧
    2024-03-03
  • 基于StringBuilder类中的重要方法(介绍)

    基于StringBuilder类中的重要方法(介绍)

    下面小编就为大家带来一篇基于StringBuilder类中的重要方法(介绍)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07

最新评论