SpringBoot整合EasyExcel实现大规模数据的并行导出与压缩下载

   <dependency>
       <groupId>com.alibaba</groupId>
       <artifactId>easyexcel</artifactId>
       <version>3.1.1</version>
   </dependency>
 
    <!-- 简化实体类的get，set操作 --> 
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.16.20</version>
    </dependency>
 
 
    <!-- Commons IO（用于压缩文件操作） -->    
    <dependency>        
        <groupId>commons-io</groupId>        
        <artifactId>commons-io</artifactId>        
        <version>2.11.0</version>    
    </dependency>

@Data
public class Order {
    
    private Long id;    
    private String productName;    
    private Integer quantity;    
    private BigDecimal price;    
 
}

import com.alibaba.excel.EasyExcel;
import java.io.File;
import java.util.List;
 
public class ExcelExportUtil {
    public static void writeToExcel(List<Order> orders, String filePath) {
        try {
            // 使用 EasyExcel 进行 Excel 文件写入操作
            // 指定输出文件路径 filePath、数据类型 Order.class 和工作表名称 "订单数据"
            EasyExcel.write(filePath, Order.class)
                   .sheet("订单数据")
                   .doWrite(orders);
        } catch (Exception e) {
            // 如果在写入过程中出现异常，打印异常信息
            e.printStackTrace();
        }
    }
}

import java.util.List;
 
public interface ExportService {
 
    // 并行导出订单的方法
    void exportOrdersInParallel(List<List<Order>> ordersList, String outputDir);
 
}

import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.stream.IntStream;
 
@Service
public class ExportServiceImpl implements ExportService{
 
    // 创建一个固定大小为 10 的线程池
    private final ExecutorService executor = Executors.newFixedThreadPool(10);
 
    // 并行导出订单的方法
    public void exportOrdersInParallel(List<List<Order>> ordersList, String outputDir) {
        // 创建一个 CompletableFuture 数组来存储每个任务的 Future 对象
        CompletableFuture<Void>[] futures = new CompletableFuture[ordersList.size()];
 
        // 遍历订单列表，为每个子列表创建一个异步任务
        IntStream.range(0, ordersList.size()).forEach(index -> {
            List<Order> orders = ordersList.get(index);
            futures[index] = CompletableFuture.runAsync(() -> {
                // 生成文件名
                String fileName = "订单_" + Thread.currentThread().getId() + ".xlsx";
                try {
                    // 调用工具方法将订单写入 Excel 文件
                    ExcelExportUtil.writeOrdersToExcel(orders, outputDir + fileName);
                } catch (Exception e) {
                    // 如果出现异常，打印异常信息
                    e.printStackTrace();
                }
            }, executor);
        });
 
        // 等待所有任务完成
        CompletableFuture.allOf(futures).join();
    }
}

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;
 
public class ZipUtil {
    public static void zipFiles(String sourceDir, String zipFile) throws IOException {
        // 创建输出的 ZIP 文件流
        try (FileOutputStream fos = new FileOutputStream(zipFile);
             ZipOutputStream zipOut = new ZipOutputStream(fos)) {
 
            // 获取要压缩的源目录下的文件列表
            File fileToZip = new File(sourceDir);
            if (fileToZip.isDirectory()) {
                for (File file : fileToZip.listFiles()) {
                    if (file.isFile()) {
                        try (FileInputStream fis = new FileInputStream(file)) {
                            // 创建 ZIP 条目，表示要添加到 ZIP 文件中的文件
                            ZipEntry zipEntry = new ZipEntry(file.getName());
                            zipOut.putNextEntry(zipEntry);
 
                            byte[] bytes = new byte[1024];
                            int length;
                            // 循环读取文件内容并写入 ZIP 文件
                            while ((length = fis.read(bytes)) >= 0) {
                                zipOut.write(bytes, 0, length);
                            }
                        }
                    }
                }
            }
        }
    }
}

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import org.springframework.core.io.InputStreamResource;
import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.http.ResponseEntity;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
 
@RestController
public class FileDownloadController {
    @GetMapping("/downloadZip")
    public ResponseEntity<InputStreamResource> downloadZip() throws IOException {
        // 定义源目录路径，这里假设是 /tmp/excel_files
        String sourceDir = "/tmp/excel_files";
        // 定义生成的 ZIP 文件路径，这里假设是 /tmp/orders.zip
        String zipFilePath = "/tmp/orders.zip";
 
        try {
            // 调用 ZipUtil 类的方法来压缩源目录中的文件到指定的 ZIP 文件
            ZipUtil.zipFiles(sourceDir, zipFilePath);
 
            // 创建一个 File 对象表示要下载的 ZIP 文件
            File file = new File(zipFilePath);
 
            // 创建一个 InputStreamResource 对象，从文件输入流中读取数据
            InputStreamResource resource = new InputStreamResource(new FileInputStream(file));
 
            // 设置 HTTP 响应头信息
            HttpHeaders headers = new HttpHeaders();
            // 设置内容处置头，指示浏览器下载文件，并指定文件名
            headers.add(HttpHeaders.CONTENT_DISPOSITION, "attachment;filename=" + file.getName());
            // 设置内容类型为 application/octet-stream，表示二进制数据
            headers.setContentType(MediaType.APPLICATION_OCTET_STREAM);
            // 设置内容长度，以便浏览器正确显示下载进度
            headers.setContentLength(file.length());
 
            // 返回一个包含 InputStreamResource 的 ResponseEntity 对象，
            // 表示成功的 HTTP 响应，包含要下载的文件数据和设置好的响应头
            return ResponseEntity.ok()
                   .headers(headers)
                   .body(resource);
        } catch (IOException e) {
            // 如果在压缩文件或读取文件过程中出现 IOException，返回内部服务器错误响应
            return ResponseEntity.status(500).build();
        } finally {
            // 在方法结束时，无论是否发生异常，尝试删除生成的 ZIP 文件
            File zipFile = new File(zipFilePath);
            if (zipFile.exists()) {
                zipFile.delete();
            }
        }
    }
}